GOPS2016-IT运维分析与海量日志搜索.pptx

IT运维分析与海量日志搜索;提纲; 从 IT Operation Management (ITOM) 到 IT Operation Analytics (ITOA) 大数据技术应用于IT运维，通过数据分析提升IT运维效率 可用性监控 应用性能监控 故障根源分析 安全审计 Gartner估计，到2017年15%的大企业会积极使用ITOA；而在2014年这一数字只有5%; 机器数据（Machine Data） 日志 通信数据（Wire Data） 网络抓包，流量分析 代理数据（Agent Data） 在 .NET/Java 字节码里插入代码，统计函数调用、堆栈使用 探针数据（Probe Data） 在各地模拟ICMP ping、HTTP GET请求，对系统进行检测;ITOA 四种数据来源使用占比; 机器数据（日志） 日志无所不在 但不同应用输出的日志内容的完整性、可用性不同 通信数据（网络抓包） 网络流量信息全面 但一些事件未必触发网络流量 代理数据（嵌入代码） 代码级精细监控 但侵入性，会带来安全、稳定、性能问题 探针数据（模拟用户请求） 端到端监控 但不是真实用户度量（Real User Measurement）;带时间戳的机器数据 IT 系统信息 服务器 网络设备 操作系统 应用软件 用户信息 用户行为 业务信息 日志反映的是事实数据 “The Log: What every software engineer should know about real-time data's unifying abstraction”, Jay Kreps, LinkedIn engineer 深度解析LinkedIn大数据平台（/article/2014-07-23/2820811/1）;43 - - [15/Apr/2015:00:27:19 +0800] “POST /report HTTP/1.1” 200 21 “/search/” “Mozilla/5.0 (Windows NT 6.1; WOW64; rv:37.0) GeckoFirefox/37.0” “74” 0.005 0.001 字段： Client IP: 43 Timestamp: 15/Apr/2015:00:27:19 +0800 Method: POST URI: /report Version: HTTP/1.1 Status: 200 Bytes: 21 Referrer: /search/ User Agent: Mozilla/5.0 (Windows NT 6.1; WOW64; rv:37.0) GeckoFirefox/37.0 X-Forward: 74 Request_time: 0.005 Upstream_request_time:0.001 ; 运维监控 可用性监控 应用性能监控 (APM) 安全审计 安全信息事件管理 (SIEM) 合规审计 发现高级持续威胁 (APT) 用户及业务统计分析;日志没有集中处理 登陆每一台服务器，使用脚本命令或程序查看 日志被删除 磁盘满了删日志 黑客删除日志，抹除入侵痕迹 日志只做事后追查 没有实时监控、分析 使用数据库存储日志 无法适应TB级海量日志 数据库的schema无法适应千变万化的日志格式 无法提供全文检索; Hadoop 批处理，不够及时 查询慢 数据离线挖掘，无法做 OLAP (On Line Analytic Processing) Storm/Spark Hadoop/Storm/Spark都只是一个开发框架，不是拿来即用的产品 NoSQL 不支持全文检索; 对日志实时搜索、分析 日志实时搜索分析引擎 快 日志从产生到搜索分析出结果只有几秒的延时 大 每天处理 TB 级的日志量 灵活 Google for IT， 可搜索、分析任何日志 Fast Big Data;日志3.0： 实时搜索引擎; 可编程的日志实时搜索分析平台 搜索处理语言 （Search Processing Language, SPL） SPL命令用管道符（“|”）串接成脚本程序 在搜索框里写 SPL 脚本，完成复杂的查询、分析 可接入各种来源的数据 日志文件 数据库 恒生电子交易系统二进制日志 企业部署版 SaaS 版 每天500MB日志处理免费; 搜索 告警 统计 事务关联 配置解析规则，识别任何日志 把日志从非结构化数据转换成结构化数据 安全攻击自动识别 开放API，对接第三方系统 高性能、可扩展分布式架构 乐视：100万 EPS (Event Per Second)，20TB/天; 使用日志易之前 逐台登陆服