海量日志搜索分析技术及行业应用案例.pdf

海量日志搜索分析技术及行业应用案例 IT运维分析 ª 从 IT Operation Management (ITOM) 到 IT Operation Analytics (ITOA) ª 大数据技术应用于IT运维，通过数据分析提升IT运维 ª Gartner估计，到2017年15%的大企业会积极使用ITOA ；而在2014年这一数字只有5% ITOA 4种数据占比 100% 93% 86% 80% 72% 60% 47% 40% 20% 0% machine data （日志） wire data （网络抓包） agent data （插入代码） probe data （模拟检测） ITOA 四种数据来源的比较 机器数据（日志） 通信数据（网络抓 代理数据（嵌入代 探针数据（模拟用 日志无所不在 包） 码） 户请求） 但不同应用输出的日 网络流量信息全面 代码级精细监控 端到端监控 志内容的完整性、可 但一些事件未必触发 但侵入性，会带来安 但不是真实用户度量 用性不同 网络流量 全、稳定、性能问题 （Real User Measurement ） 日志，我们重要的数据资产 clientIP timestamp method uri 43 - - [15/Apr/2015:00:27:19 +0800] “POST /report HTTP/1.1” 200 21 “/search/” “Mozilla/5.0 (Windows NT 6.1; WOW64; rv:37.0) GeckoFirefox/37.0” “74” 0.005 status length reference span 过去 存储日志性能方面 l 无法适应每天TB级海量日志 l 数据库的schema无法适应千变万化的日志 格式 l 无法提供海量日志全文检索和字段统计功能 运维方面 l 需要登陆每一台服务器，使用脚本命 安全方面 令或程序查看，操作繁琐，容易出错 l 黑客入侵后往往会删除／修改