又拍云日志服务架构设计实践.PDFVIP

又拍云日志服务架构设计实践 张超 @ 云片活动开放日 2018-09-16 张超 (又拍云) 又拍云日志服务架构设计实践 2018-09-16 1 / 22 我自己 Alex Zhang 又拍云系统开发工程师，负责又拍云 CDN 反向代理层组件的维护， 平时喜欢研究一些开源软件，比如 Nginx、OpenResty 和 Redis ，并混 迹在这些开源软件的社区中，专注于服务端技术的研究。 • Github: /tokers • Email: zchao1995@ 张超 (又拍云) 又拍云日志服务架构设计实践 2018-09-16 2 / 22 为什么要提供日志服务 • 日志归档，根据不同的服务名提供下载服务 • 提供近实时、多维度的日志分析，问题排查，并对接到内部报警 系统 • 日志离线分析；复杂的数据模型计算和分析，定期生成报表 张超 (又拍云) 又拍云日志服务架构设计实践 2018-09-16 3 / 22 日志服务系统概览 • 各个 CDN 边缘节点上传日志数据到日志服务代理层 • 代理层根据日志类型将日志保存到不同的 Kafka topic • 不同的日志消费者消费不同的 Kafka topic 里的数据 • 根据需求决定最终去向，比如保存到 HDFS 集群或者 ES 集群 张超 (又拍云) 又拍云日志服务架构设计实践 2018-09-16 4 / 22 潜在的问题 • 由于CDN 的特点，边缘机房分布在全国各地，通过公网上报日 志，难免遇到网络不理想的情况 • 日志消费者消费能力有限时，会导致Kafka 队列发生堆积 张超 (又拍云) 又拍云日志服务架构设计实践 2018-09-16 5 / 22 日志上报的方案 针对 Nginx 日志的上报方案： • 脚本周期性地向 Nginx 发送信号进行日志切割，然后进行上传； • 或者直接配置 Nginx ，使得access.log 发送到syslog ； 考虑到又拍云 CDN 服务产生的日志数据比较复杂，而 Nginx access.log 描述能力相对薄弱，因此采用了以下的方案： • CDN 边缘机房引入单独的 log agent 服务，由 log agent 对接数据 中心的日志代理层 • log agent 内置disk queue • CDN 边缘服务引入 lua-resty-logger-socket ，将日志发送到本机的 log agent （） 张超 (又拍云) 又拍云日志服务架构设计实践 2018-09-16 6 / 22 lua-resty-logger-socket /cloudflare/lua-resty-logger-socket 该库的核心是一个内存 buffer ，buffer 的内容只会在达到一定大小 （flush_limit）之后才将数据冲刷出去，如果发送失败，内容不会被丢 弃；如果缓冲的数据大小超过一个硬性值（drop_limit），那么当前的 日志会被丢弃。 该库基于 ngx_lua 的Cosocket 技术，Cosocket 通过利用 Lua coroutine 的yield/resume 特性，完美结合了 Nginx 的事件框架，因此是百分百 非阻塞的，这避免了access.log 写磁盘带来的阻塞问题。和又拍云 CDN 服务的软件架构非常契合。 张超 (又拍云) 又拍云日志服务架构设计实践 2018-09-16 7 / 22 log agent CDN 边缘日志 agent 服务，内部称之为“logger”，接收CDN 边缘服 务