日志分析系统调研分析-ELK-EFK.docxVIP

日志分析系统 目录  TOC \o 1-3 \h \z \u  HYPERLINK \l _Toc475118290 一. 背景介绍  PAGEREF _Toc475118290 \h 2  HYPERLINK \l _Toc475118291 二．日志系统比较  PAGEREF _Toc475118291 \h 2  HYPERLINK \l _Toc475118292 1．怎样收集系统日志并进行分析  PAGEREF _Toc475118292 \h 2  HYPERLINK \l _Toc475118293 A.实时模式：  PAGEREF _Toc475118293 \h 2  HYPERLINK \l _Toc475118294 B.准实时模式  PAGEREF _Toc475118294 \h 2  HYPERLINK \l _Toc475118295 2.常见的开源日志系统的比较  PAGEREF _Toc475118295 \h 3  HYPERLINK \l _Toc475118296 A. FaceBook的Scribe  PAGEREF _Toc475118296 \h 3  HYPERLINK \l _Toc475118297 B. Apache的Chukwa  PAGEREF _Toc475118297 \h 3  HYPERLINK \l _Toc475118298 C. LinkedIn的Kafka  PAGEREF _Toc475118298 \h 4  HYPERLINK \l _Toc475118299 E. 总结  PAGEREF _Toc475118299 \h 8  HYPERLINK \l _Toc475118300 三．较为成熟的日志监控分析工具  PAGEREF _Toc475118300 \h 8  HYPERLINK \l _Toc475118301 1.ELK  PAGEREF _Toc475118301 \h 9  HYPERLINK \l _Toc475118302 A.ELK 简介  PAGEREF _Toc475118302 \h 9  HYPERLINK \l _Toc475118303 B.ELK使用场景  PAGEREF _Toc475118303 \h 10  HYPERLINK \l _Toc475118304 C.ELK的优势  PAGEREF _Toc475118304 \h 10  HYPERLINK \l _Toc475118305 D.ELK的缺点：  PAGEREF _Toc475118305 \h 11  HYPERLINK \l _Toc475118306 2.EFK  PAGEREF _Toc475118306 \h 11  HYPERLINK \l _Toc475118307 3. Logstash 于FluentD(Fluentd)对比  PAGEREF _Toc475118307 \h 11  一. 背景介绍 许多公司的平台每天会产生大量的日志（一般为流式数据，如，搜索引擎的pv，查询等），处理这些日志需要特定的日志系统，一般而言，这些系统需要具有以下特征： （1） 构建应用系统和分析系统的桥梁，并将它们之间的关联解耦； （2） 支持近实时的在线分析系统和类似于Hadoop之类的离线分析系统； （3） 具有高可扩展性。即：当数据量增加时，可以通过增加节点进行水平扩展。 二．日志系统比较 1．怎样收集系统日志并进行分析 A.实时模式：1 在打印日志的服务器上部署agent2 agent使用低耗方式将日志增量上传到计算集群3 计算集群解析日志并计算出结果，尽量分布式、负载均衡，有必要的话（比如需要关联汇聚）则采用多层架构4 计算结果写入最适合的存储（比如按时间周期分析的结果比较适合写入Time Series模式的存储）5 搭建一套针对存储结构的查询系统、报表系统补充：常用的计算技术是storm B.准实时模式1 在打印日志的服务器上部署agent2 agent使用低耗方式将日志增量上传到缓冲集群3 缓冲集群将原始日志文件写入hdfs类型的存储4 用hadoop任务驱动的解析日志和计算5 计算结果写入hbase6 用hadoop系列衍生的建模和查询工具来产出报表补充：可以用hive来帮助简化 2.常见的开源日志系统的比较 A. FaceBook的Scribe Scribe是facebook开源的