IT运维与海量日志搜索案例.pptx

IT运维分析与海量日志搜索 日志易CEO 陈军 提纲 IT 运维分析（IT Operation Analytics） 日志的应用场景 过去及现在的做法 日志搜索引擎 日志易产品介绍 IT 运维分析 从 IT Operation Management (ITOM) 到 IT Operation Analytics (ITOA) 大数据技术应用于IT运维，通过数据分析提升IT运维效率 可用性监控 应用性能监控 故障根源分析 安全审计 Gartner估计，到2017年15%的大企业会积极使用ITOA；而在2014年这一数字只有5% ITOA 的四种数据来源 机器数据（Machine Data） 日志 通信数据（Wire Data） 网络抓包，流量分析 代理数据（Agent Data） 在 .NET/Java 字节码里插入代码，统计函数调用、堆栈使用 探针数据（Probe Data） 在各地模拟ICMP ping、HTTP GET请求，对系统进行检测 ITOA 四种数据来源使用占比 ITOA 四种数据来源的比较 机器数据（日志） 日志无所不在 但不同应用输出的日志内容的完整性、可用性不同 通信数据（网络抓包） 网络流量信息全面 但一些事件未必触发网络流量 代理数据（嵌入代码） 代码级精细监控 但侵入性，会带来安全、稳定、性能问题 探针数据（模拟用户请求） 端到端监控 但不是真实用户度量（Real User Measurement） 日志，我们重要的数据资产 IT系统（服务器、网络设备）每天都产生大量的日志，包含了各种设备、系统、应用、用户信息 日志：时间序列机器数据 带时间戳的机器数据 IT 系统信息 服务器 网络设备 操作系统 应用软件 用户信息 用户行为 业务信息 日志反映的是事实数据 “The Log: What every software engineer should know about real-time datas unifying abstraction”, Jay Kreps, LinkedIn engineer 深度解析LinkedIn大数据平台（/article/2014-07-23/2820811/1） 一条 Apache Access 日志 43 - - [15/Apr/2015:00:27:19 +0800] “POST /report HTTP/1.1” 200 21 “/search/” “Mozilla/5.0 (Windows NT 6.1; WOW64; rv:37.0) GeckoFirefox/37.0” “74” 0.005 0.001 字段： Client IP: 43 Timestamp: 15/Apr/2015:00:27:19 +0800 Method: POST URI: /report Version: HTTP/1.1 Status: 200 Bytes: 21 Referrer: /search/ User Agent: Mozilla/5.0 (Windows NT 6.1; WOW64; rv:37.0) GeckoFirefox/37.0 X-Forward: 74 Request_time: 0.005 Upstream_request_time:0.001 日志的应用场景 运维监控 可用性监控 应用性能监控 (APM) 安全审计 安全信息事件管理 (SIEM) 合规审计 发现高级持续威胁 (APT) 用户及业务统计分析 过去 日志没有集中处理 登陆每一台服务器，使用脚本命令或程序查看 日志被删除 磁盘满了删日志 黑客删除日志，抹除入侵痕迹 日志只做事后追查 没有实时监控、分析 使用数据库存储日志 无法适应TB级海量日志 数据库的schema无法适应千变万化的日志格式 无法提供全文检索 近年 Hadoop 批处理，不够及时 查询慢 数据离线挖掘，无法做 OLAP (On Line Analytic Processing) Storm/Spark Hadoop/Storm/Spark都只是一个开发框架，不是拿来即用的产品 NoSQL 不支持全文检索 现在 对日志实时搜索、分析 日志实时搜索分析引擎 快 日志从产生到搜索分析出结果只有几秒的延时 大 每天处理 TB 级的日志量 灵活 Google for IT， 可搜索、分析任何日志 Fast Big Data 日志3.0： 实时搜索引擎 需要开发成本 批处理，实时性差 不支持全文检索 固定的schema无法适应 任意日志格式 无法处理大数据量 日志2.0： Hadoop 或 NoSQL 日志1.0： 数据库 日志管理系统的