DerbySoft可伸缩的日志分析平台实践.pdf

DerbySoft可伸缩的 日志分析平台实践 ArchData技术峰会上海站 日程 1. DyS简介 系统背景 2. 日志分析 3. DyS日志分析平台演进过程 4. 相关技术细节 ArchData技术峰会上海站 GDN ArchData技术峰会上海站 系统背景 • 典型分布式系统, 服务分布在全球十几个可用区 • 面向服务架构, 服务数量多 • 大部分服务部署在AWS ArchData技术峰会上海站 日志 • A HTTP S • T • + / / / • * | 1 | 2 . • y ArchData技术峰会上海站 为什么要 日志分析平台 • 查找 日志 • 一个服务跑在多台服务器上 • 性能监控 • 错误分析 • O C • … ArchData技术峰会上海站 为什么要 日志分析平台 • 收集 日志 采集 • 对 日志进行过滤, 预处理, 格式化 处理 • 检索, 分类, 统计 计算 • 报表, 监控, 决策 应用 ArchData技术峰会上海站 DerbySoft 日志平台演进 – V1 • 2008 ~ 2012 • 基于W S实现的L4 A L • 通用RPC接 口实现 日志实时查看 • VL/SSH命令行 手工下载 ArchData技术峰会上海站 DerbySoft 日志平台演进 – V1 存在的问题 1. 只有关键 日志进入系统 2. 功能上仅限于 日志查找以及追踪调用链 3. 即使按天分表, 单表数据也越来越大, 索引和查询越来越慢 4. 日志类型单一, 数据提取 困难, 更谈不上分析 日志 ArchData技术峰会上海站 DerbySoft 日志平台演进 - Splunk • 优点: 好用 • 缺点: 太贵 影响 1. 第一个标准化的日志 – P L 2. 初步形成的监控机制 ArchData技术峰会上海站 DerbySoft 日志平台演进 – V2 ArchData技术峰会上海站 DerbySoft 日志平台演进 – V2 ELK E: 基于的存储, 索引, 搜索引擎 L: 用来搜集和过滤 日志的工具 K: 基于W用于查询和可视化存储在E中的数据图 形界面 ArchData技术峰会上海站 DerbySoft 日志平台演进 – V2 • 2013 • 开源, 易于搭建 • 不侵入系统, 对工程师透 明 ArchData技术峰会上海站 DerbySoft 日志平台演进 – V2 存在的问题 1. L太重, 占用CPU和内存资源较大, 影响应用稳定性 2. 日志格式没有统一标准 3. 新增 日志类型难 以实施 4. 数据丢失 ArchData技术峰会上海站 DerbySoft 日志平台演进 – V3 • 分布