微信服务保障实践.pptx

微信服务保障实践 433天   8.1亿   微信   6亿   微信1.0  -  常规监控   微信1.0  -  常规监控   • 服务器   •  PING、磁盘空间、负载、CPU使用率等   • 程序   •  端口、COREDUMP、异常重启 微信1.0  -  常规监控   • 无业务监控？   • 无程序逻辑监控？   微信2.0  -  全业务监控   微信2.0  -  全业务监控   • 日志监控   • 功能拨测   微信2.0  -  全业务监控   • 速度慢   •  增加监控项，人工修改统计脚本   •  监控项多，处理性能瓶颈     • 拨测维护困难   •  程序变更，人工修改拨测脚本   •  拉取式监控，容易产生误报   微信3.0  -  海量监控   微信3.0  -  海量监控   • IDKEY监控   •  日志上报改成数值上报   •  程序框架自动上报   微信3.0  -  海量监控   数据采集   异常检测   报警发送   微信3.0  -  海量监控   转发队列   园区1   转发队列   园区2   转发队列   园区3   monitor   业务进程   共 享 内 存 agent   reduce1   reduce2   mysql  DB1   mysql  DB2   数据采集-系统架构   ID:  0  ~  128k-1   Key:  0  ~  127   数据采集-上报优化   Value:  uint32_t   微信3.0  -  海量监控   共享内存   index   微信3.0  -  海量监控   n  数据+索引，数据量压缩了8倍   n  索引大小压缩了720倍   n  读写速度更快了   微信3.0  -  海量监控   • 自适应监控算法   •  时间点方差算法   • 实时看效果   微信3.0  -  海量监控 • 用微信来监控微信   听起来很厉害，   感觉哪里不对？   微信3.0  -  海量监控 微信3.0  -  海量监控 微信4.0 • 业务形态多样   •  附近的人、漂流瓶、摇一摇   •  公众平台、朋友圈     • 服务器几万，模块数上千   •  程序复杂度增高了   •  定位分析问题困难   微信4.0  –  故障分析   微信4.0  –  故障分析 调用关系-人工分析   微信4.0  –  故障分析 proxy cgiid logicsvr cgiid store   proxy cgiid store cgiid 主干调用模型-以cgiid为引子   微信4.0  –  故障分析 proxy cgiid logicsvr cgiid store   proxy cgiid store cgiid 调store的模块负责人收到报警，store挂了，影响了我。     store模块负责人也收到报警，我的服务影响了哪些模块。   微信5.0 • 微信支付、游戏中心   •  “分分钟上千万上落”，分钟级分析hold不住     • 场景多种多样   •  主干的分析hold不住各种场景   微信5.0  –  自动定位   微信5.0  –  自动定位 • 分析争分夺秒     • 自定义分析平台   •  银行例行维护   •  游戏推广活动   微信5.0  –  自动定位   业务进程   agent   转发队列   园区1   转发队列   园区2   转发队列   园区3   monitor   共享 内存   分钟级数据   秒级数据   db   内存缓存   数据秒级上报   微信5.0  –  自动定位   微信5.0  –  自动定位   微信5.0  –  自动定位 • 分析出原因了，如何加快处理？     微信6.0  –  智能处理   微信6.0  –  智能处理 • 常见问题   •  服务器   •  网络   •  •  •  容量   变更/运维操作   程序本身     微信6.0  –  智能处理 • 服务器故障，屏蔽！   •