《美团外卖系统架构演进与系统稳定性经验谈》原版.pptx

美团外卖系统架构演进与系统稳定性经验谈目录个人简介美团外卖业务发展历程技术体系架构演进介绍外卖业务稳定性的挑战系统稳定性的处理原则个人简介新美大北纬通信创新业务探索美团外卖架构组移动增值服务2006.7~2011.2 2011.3~2013.52013.5~网易网易视频库网易应用网易新闻 目录个人简介美团外卖业务发展历程技术体系架构演进介绍外卖业务稳定性的挑战系统稳定性的处理原则美团外卖业务发展历程扩展中扩展中外卖配送Step 1美团外卖业务发展历程供给侧改革1000w日交易额过亿新LOGO400w美团专送全国启动300w在线支付APP占90%200wWEB上线业务MVP100w?2013/112014/112015/052015/122016/05Step 1Step 1目录个人简介美团外卖业务发展历程技术体系架构演进介绍外卖业务稳定性的挑战系统稳定性的处理原则技术体系架构演进介绍业务起步：MVP阶段美团外卖APP美团外卖WEB验证需求寻找产品和需求的切合点电话点餐-网络点餐移动后台WEB后台dbwaimai技术架构：1.0 快速开发功能快速调整流程快速发布上线订单列表技术体系架构演进介绍业务起步：规模化AppI版WebPCApp打印机用户业务系统商家业务系统寻找规模化的业务产品形态提高运营效率dbwaimaimaster/slave技术架构：2.0快速开发多个业务系统复用工具库Util：http复用业务库运营业务系统公共服务系统合同审核上单MQ商家订单技术体系架构演进介绍业务增长用户层应用层数据层校园市场全国开展白领市场开拓美团专送启动平台活动增加用户激增订单激增接口层服务层基础层访问层存储层Nginx灰度NativeH5中间件MTThrift外卖AppAPI订单MQAtlasDB美团App商品KVOpen技术架构：3.0Databus点评AppWeb商家ES系统级容错服务化重构中间件分库分表外卖商家异构DB ...性能监控统一配置中心MHA技术体系架构演进介绍问题系统架构服务化SOAMTThrift多逻辑耦合直连DB服务级容灾耦合相互影响容错差CacheRedis主从RedisCluster共用KV专用KVMQRabbitMQ外卖大集群订单集群其他集群延迟队列重试队列DB joinlikeDB 异构索引表DatabusElasticsearch高级查询演进之路分布式调度HoraeCrontabquartz离线任务服务化中间件KV数据总线异步化一主一从一主多从LVS一主多从AtlasDB分流限流降级基本功能基础服务目录个人简介美团外卖业务发展历程技术体系架构演进介绍外卖业务稳定性的挑战系统稳定性的处理原则外卖业务稳定性的挑战业务特点：高峰集中在中午、晚上饭点，爆发快系统挑战：高并发，一旦发生故障损失较大外卖业务稳定性的挑战业务特点：服务链条长系统挑战：依赖复杂用户浏览下单支付商家接单骑手配送中已送达用户评价结算外卖业务稳定性的挑战业务特点：发展快技术挑战：开发迭代快发版频繁 引入bug，稳定性风险项目周期短架构优化排不上期技术欠债监控难度大指标覆盖全规则变化快目录个人简介美团外卖业务发展历程技术体系架构演进介绍外卖业务稳定性的挑战系统稳定性的处理原则系统稳定性的处理原则99.99%系统可用性订单可用性系统稳定性的处理原则事故处理日常运行及时止损稳定性架构设计保护用户体验例行梳理和巡检力保关键路径99.99%全链路在线压测事前预警事后总结性能大盘根本原因分析业务大盘影响损失核算健康分析重构系统系统稳定性的处理原则日常运行 稳定性架构设计 大系统小做WEBAPIWEBAPI服务专一性独立的功能拆分为独立的服务TaskMessageCenterMQJOB依赖稳定性原则QueryManage只依赖稳定的服务将易变的部分拆分 超时中断抱歉，您选的商家运力不足，请选择其他商家下单。失败！服务器异常！null别看了，啥也没保障用户体验的容错设计异常情况下客户端的呈现客户端配合限流客户端配合降级读写系统稳定性的处理原则日常运行 例行稳定性巡检 静态梳理 定位banner按场景Review 关键链路调用放大情况梳理降低“高并发”，假高并发场景用户RankAPI专项梳理DB健康Reivew，大表，慢查询读写QPS，出轨，绿帽子降级方案演练 POI频道定位指标巡检性能大盘：不要放过尖刺业务大盘：定心丸报错大盘：定位好帮手系统稳定性的处理原则日常运行 全链路在线压测 线上引流压测 Nginx分组 ThriftRPC 分组摘掉机器第三方服务MockNginxKVWEBMQ DB流量录制全链路压测 Thrift RPC读流量回放写事务模拟流量染色异步阶梯加压告警自动终止染色原始流量异步阶梯加压事务模拟监控系统压测目标排查性能瓶颈，上探系统容量