移动性能监控系统架构设计课件.pptVIP

移动性能监控系统架构 1 Front-end 采集 Web App Hybrid App Use Javascript • Addition Data • Ajax / Pjax / Jsonp • Animation • Entrance • …… Native App Use Object C / Java • App Initialize • Download • Update • Traffic • …… 2 Front-end Back-end Front-end 架构 Performance Collector Write to Queue Data Queue Async, Read from Queue Agent Compressor + Sender Back-end Js Library Use LocalStorage Use HTTP GET 1*1 GIF See Next 3 Back-end 架构 Front-end Nginx Storm Queue Dashboard Push Service Hive / HBase Back-end Front-end Real-time Report Service Applications Real-time App, 2s Near Real-time App 10s Scene #2, #5 Alerting Real-time App, 2s Scene #1, #2, #3 按地址位置、设 备、浏览器、运 营商等信息做实 时数据汇总，并 计算用户访问流 Dashboard按分 钟、小时、天、 周等预先预聚合 数据提供快速图 表查询 Alerting对实时数 据和同期做对比， 当发生明显差异 的时候发生报警 HBase和Hive中 保存明细数据， 可帮助快速排障 4 Storm 拓扑 Log Spout Timed Spout Event Spout Timed Bolt Esper Bolt Notification Bolt Alerting Topology UBT Topology 解数据包，过滤 异常值等ETL处理 ETL Bolt Delivery Analysis Bolt Bolt 按分钟统计汇总数据 5 Hadoop 存储 Writer Hadoop Writer Writer Writer Raw Data RCFile Performance Detail HBase HDFS Hive MR Dashboard Metrics 6 Scene #1 – 实时性能看板及预警 性能实时趋势图 综合反映当前的性能概况， 若与历史同期比发生异常则 最优先检查最近发布以及服 务器状况 运营商网络性能 反映不同网络下的性能，若某 一特定网络出现异常则需要检 查CDN线路以及公司对于相关 网络的出口带宽 7 地理位置性能 若少数城市出现异常则需要检查网络线路 Scene #1 – 实时性能看板及预警 用户设备性能 若部分设备出现异常则需要 检查代码兼容性或者关注相 关系统的升级补丁 8 Scene #2 – 故障排查 页面请求 当发现某个页面慢的时候查 看每一个Ajax / Jsonp调用 的性能概况 耗时分布 对于性能不稳定Restful Service， 查看耗时分布，找到异常点 9 性能详情 Scene #2 – 故障排查 根据用户的访问流上下文环境分析用 户当时的环境，找到具体慢在哪里 查看某一分钟的性能详 情，找到访问慢的请求 访问流 10 Scene #3 – 增量更新推送 ■ 推送增量更新必然会占用一部分的 带宽资源 ■ 性能数据能实时反映用户当前的真 实使用状况 ■ 选择网络性能良好的时机能让用户 感觉到更新更加平稳，甚至察觉不到 ■ 灰度推送更新，保持核心网络通畅 11 Scene #4 – 数据大小监控 ■ 在收集性能数据的同时，可以获取页面请求的Restful Service返回到客户 端的Response Size ■ 通过分析和监控 Response Size 的变化，预知对用户产生的影响， 避免不必要的风险 ■ 同时对于有固定类型返回值的接 口，若Response Size分布异常， 可以帮助快速定位问题 12 Architectu