开辟者大年夜赛路演 | 12月16日，技巧立异，北京不见不散

背景

美团外卖营业在互联网行业是异常独特的，不仅流程复杂——大年夜用户下单、商家接单到配送员接单、交付，并且压力和流量在午、晚岑岭时段异常集中。同时，外卖营业的增长异常迅猛，自2013年11月上线到比来峰值冲破1600万，还不到4年。在这种情况下，一旦出现变乱，纯真靠人工排查解决问题，存在较多的局限性。本文将具体解析问题发明、根因分析、问题解决等主动化运维体系的扶植过程与相干设计原则。

外卖营业特点

起首大年夜营业本身具有的一些特点来讲一下主动化营业运维的须要性。

营业流程复杂

③ 我们的代码中会有大年夜量的降级限流开关，在办事异常时进行响应的保护操作。这些开关跟着产品快速地迭代，我们并不克不及肯定它们是否还有效。别的，我们须要较精确地进行容量筹划以应对快速增长的营业量。这些都须要经由过程全链路压测帮我们赓续地验证，并发明机能瓶颈，有效地评估办事容量。

图1 用户角度的美团外卖技巧体系

美团外卖的定位是“环绕在线商品交易与及时送达的O2O电商交易平台”。图1就是用户在应用美团外卖App过程中涉及到的技巧模块，历经用户下单-->体系发给商家-->商家预备外卖-->配送，到最后用户收到商品比如热乎乎的盒饭，全部过程的时光须要控制在半小时之内。在这背后，全部产品线上还会涉及很多半据分析、统计、结算、合一致各个端的交互，是以，对一致性的请求高，同时并发量也很高。

每日流量徒增明显

图2 美团外卖惯例营业监控图

外卖营业天天在特准时刻流量陡增明显，有时刻与第三方做的一些晃荡会造成系统流量刹时达到午岑岭的2~3倍，如图2所示。

营业增长迅猛

图3 美团外卖重要成长里程碑

美团外卖自2013年上线至2017年10月份，在不到4年的时光里，日提单已达2000万，日完成订单冲破1600万，如图3所示。这时代，营业产品一向处在高速迭代的过程中，某些数据拜访的办事量会达到日均120亿+次，QPS近40万。如今如不雅在午岑岭出现一个小小的变乱，就会造成比较大年夜的损掉。

须要解决问题

图4 开辟人员日常监控痛点

我们在日常的营业运维工作中经常会碰着一些问题困扰着开辟人员，如图4所示，重要有四大年夜痛点：

① 各类维度的事宜通知、报警事宜充斥着开辟人员的IM，我们须要花很多精力去设备和优化报警阈值、报警等级才不会出现很多误报。我们欲望可以将各类办事的报警指标和阈值标准化、主动化，然后主动收集这些事宜进行统计。一方面可以赞助开辟人员提前发明问题潜在的风险，另一方面为我们找出问题的根来源基本因供给有力的数据支撑。

② 公司有多套监控体系，它们有各自的职责定位，然则互相没有接洽关系，所以开辟人员在排盘考题时须要带着参数在不合的体系之间切换，这就降低了定位问题的效力。

核心目标

我们欲望经由过程一些主动化办法晋升运维效力，大年夜而将开辟人员大年夜日常的营业运维工作中解放出来，先来看一个用户应用处景：

如图5所示，触发办事保护有两条路径。

① 第一条，当用户在前期接收到我们的┞凤断报警后，直接被引导进入该报警可能会影响到营业大年夜盘。这时我们要查看营业图表，如不雅影响到营业，引导用户直接进入该营业图表对应的核心链路，定位出问题的根来源基本因，进而再断定是否要触发该核心链路上对应的办事保护开关或预案。

图5 主动化营业运维体系核心扶植目标

② 第二条，用户也可以直接经由过程诊断报警进入对应的核心链路，查看最终引起异常的根来源基本因，引导用户断定是否须要触发响应的办事保护预案。

发明问题-->诊断问题-->解决问题，这个过程每一步都须要赓续地晋升精确度，全部流程须要经由过程全链路压测赓续验证，当某些场景精确度异常高的时刻，就可以变为主动化筹划。

是以，我们的核心目标是，当全部筹划可以主动化进行下去之后，对于用户来说的应用处景就变成了：收到异常报警->收到营业办事恢复通知。跟着主动化筹划越来越完全，开辟人员可以加倍存眷营业逻辑的开辟。

重点体系体系扶植

体系架构

如图6所示，在主动化营业运维体系中，营业大年夜盘与核心链路作为用户应用的人口，一旦用户查看营业指标出现问题，我们就须要快速定位该营业指标异常的根来源基本因。我们经由过程对核心链路上办事状况的分析，赞助开辟人员定位最终的问题节点，并建议开辟人员须要触发哪些办事保护预案。营业大年夜盘的猜测报警、核心链路的红盘诊断报警以及已经收集到各个维度的报警事宜，如不雅能对它们做进一步的统计分析，可以赞助开辟人员大年夜加倍宏不雅的角度提前发明办事可能潜在问题，相当于提前对办事做健康检查。我们须要按期经由过程全链路压测来赓续验证问题诊断和办事保护是否有效，在压测时可以看到各个场景下的办事健康状况，对办事节点做到有效的容量筹划。

　　推荐阅读

　　巧妙利用DNS突破AWS云环境中隔离的网络

CTO练习营 | 12月3-5日，深圳，是时刻成为优良的技巧治理者了 去往AmazonProvidedDNS的流量都是绑定到AWS治理基>>>详细阅读

本文标题：美团外卖：日订单量超1600万的自动化业务运维之路

地址：http://www.17bianji.com/lsqh/39471.html

 1/2    1