UPYUN - 平台架构的服务监控.pdf

平台架构的服务监控 一般情况做什么监控？ 硬件监控 • 网络带宽 • 磁盘状态 • 内存状态 • 系统负载 • … 软件性能监控 • Nginx 连接数、吞吐量 • MySQL 连接数、吞吐量 • … 不足之处 • 仅提供数值输出，被动依赖监控服务来获取数据 • 监控埋点成本高 • 实时性差 • 无法反馈应用服务的状态信息 UPYUN 的服务监控系统 ActionMoni 狗眼 特性 • 支持TCP/UDP/HTTP/WebSocket接口 • 支持counter和average操作 • 支持历史数据持久化存储 • 每秒可提供超10万个操作 • 实时查询接口 • 提供多个语言的Client （TCP/UDP) 怎么做服务监控？ 一个上传图片并缩小存储的服务 • 客户端发起 PUT 请求 1. API 服务接受请求，并获取文件内容 2. API 连接 MySQL，审核是否合法请求，和对应的账号 3. 根据请求的具体要求，连接做图服务集群，进行图片 缩小操作 4. 连接存储集群，存入缩小后的图片 5. 给客户端返回结果 • 1～5 是整个文件上传业务的总耗时 • 2、3、4 分别是MySQL、做图服务和存储服务的耗 时 • 1~5 的耗时 ＝ 2+3+4 监控哪些东西？ 1. 某个服务、子服务的 qps 并发数的高低直接影响服务稳定性。假设做图服务集群 的处理能力是 1000/qps ，那如果当前监测到的值大于 800/qps 就要考虑扩容 2. 某个服务的平均处理耗时 平均处理耗时可以直接反馈出该服务是否正常，和处理 性能如何。假设我们的MySQL查询服务正常情况应该在 50ms以内，那如果当前监测到的值大于100ms，就得检 查MySQL服务出什么问题了 main{ t = time(); job start; st1 = time(); subjob start; … subjob end; actionmoni.set(SUB_KEY1, time() - st1); st2 = time(); subjob start; … subjob end; actionmoni.set(SUB_KEY2, time() - st2); job end; actionmoni.set(KEY, time() - t); } 埋点粒度尽量细致 才能更清晰的反馈出整个平台的问题 UPYUN 的服务监控 CDN 性能监控 API 性能监控 _CDN_DQ DNS解析耗时(ms) _API_U 上传耗时(ms) _CDN_D 下载耗时(ms) -QN 竞争对手 Q A @oneoo UPYUN 联盟 /union.html