日志分析系统调研分析-ELK-EFK.docx

日志分析系统 目录 TOC \o 1-3 \h \z \u 一. 背景介绍 2 二．日志系统比较 2 1．怎样收集系统日志并进行分析 2 A.实时模式： 2 B.准实时模式 2 2.常见的开源日志系统的比较 3 A. FaceBook的Scribe 3 B. Apache的Chukwa 3 C. LinkedIn的Kafka 4 E. 总结 8 三．较为成熟的日志监控分析工具 8 1.ELK 9 A.ELK 简介 9 B.ELK使用场景 10 C.ELK的优势 10 D.ELK的缺点： 11 2.EFK 11 3. Logstash 于FluentD(Fluentd)对比 11 一. 背景介绍 许多公司的平台每天会产生大量的日志（一般为流式数据，如，搜索引擎的pv，查询等），处理这些日志需要特定的日志系统，一般而言，这些系统需要具有以下特征： （1） 构建应用系统和分析系统的桥梁，并将它们之间的关联解耦； （2） 支持近实时的在线分析系统和类似于Hadoop之类的离线分析系统； （3） 具有高可扩展性。即：当数据量增加时，可以通过增加节点进行水平扩展。 二．日志系统比较 1．怎样收集系统日志并进行分析 A.实时模式：1 在打印日志的服务器上部署agent2 agent使