基于Elasticsearch的实时集群日志采集和分析系统实现.pptVIP

基于Elasticsearch的实时集群日志采集和分析系统实现 胡庆宝 2015.08.19 报告提纲 系统背景 开源日志处理技术 日志采集和分析系统设计 系统性能和功能展现 总结和展望 报告提纲 系统背景 开源日志处理技术 日志采集和分析系统设计 系统性能和功能展现 总结和展望 系统背景 系统背景 日志分散，无法大规模采集 日志自动化监控缺失 无法及时感知集群业务变化 手动分析过程复杂、效率低下 典型异常案例不便保存 系统背景 系统目标 实时采集集群服务日志信息 及时发现故障信息进行告警 自动化重复劳动，提高效率 技术积累，典型异常案例传承 查询灵活，快速定位故障时间 日志信息持久化，提供历史查询 报告提纲 系统背景 开源日志处理技术 日志采集和分析系统设计 系统性能和功能展现 总结和展望 开源日志处理技术 日志实时采集技术 Flume Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。 开源日志处理技术 日志实时采集技术 Logstash Logstash是一个接收，处理，转发日志的工具。支持系统日志，webserver日志，错误日志，应用日志，总之包括所有可以抛出来的日志类型