日志分析系统调研分析ELKEFK.pdfVIP

日志分析系统 目录 一 . 背景介绍 许多公司的平台每天会产生大量的日志 （一般为流式数据，如，搜索引擎的 pv， 查询等），处理这些日志需要特定的日志系统，一般而言，这些系统需要具有以 下特征： （1） 构建应用系统和分析系统的桥梁，并将它们之间的关联解耦； （2） 支持近实时的在线分析系统和类似于 Hadoop之类的离线分析系统； （3） 具有高可扩展性。 即：当数据量增加时， 可以通过增加节点进行水平扩展。 二．日志系统比较 1．怎样收集系统日志并进行分析 A. 实时模式： 1 在打印日志的服务器上部署 agent 2 agent 使用低耗方式将日志增量上传到计算集群 3 计算集群解析日志并计算出结果，尽量分布式、负载均衡，有必要的话（比如 需要关联汇聚）则采用多层架构 4 计算结果写入最适合的存储（比如按时间周期分析的结果比较适合写入 Time Series 模式的存储） 5 搭建一套针对存储结构的查询系统、报表系统 补充：常用的计算技术是 storm B. 准实时模式 1 在打印日志的服务器上部署 agent 2 agent 使用低耗方式将日志增量上传到缓冲集群 3 缓冲集群将原始日志文件写入 hdfs 类型的存储 4 用 hadoop 任务驱动的解析日志和计算 5 计算结果写入 hbase 6 用 hadoop 系列衍生的建模和查询工具来产出报表 补充：可以用 hive 来帮助简化 2. 常见的开源日志系统的比较 A. FaceBook 的 Scribe Scribe 是 facebook 开源的日志收集系统，在 facebook 内部已经得到大量的应 用。它能够从各种日志源上收集日志， 存储到一个中央存储系统 （可以是NFS， 分布式文件系统等） 上，以便于进行集中统计分析处理。 它为日志的“分布式收 集，统一处理”提供了一个可扩展的，高容错的方案。 特点 : 容错性好。当后端的存储系统 crash 时，scribe 会将数据写到本地磁盘上， 当存储系统恢复正常后， scribe 将日志重新加载到存储系统中。 架构： scribe 的架构比较简单，主要包括三部分，分别为 scribe agent ， scribe 和 存储系统。 (1) scribe agent scribe agent 实际上是一个 thrift client 。 向 scribe 发送数据的唯一方法是 使用 thrift client ， scribe 内部定义了一个 thrift 接口，用户使用该接口将 数据发送给 server 。 (2) scribe scribe 接收到 thrift client 发送过来的数据，根据配置文件，将不同 topic 的数据发送给不同的对象。 scribe 提供了各种各样的 store ，如 file ， HDFS 等， scribe 可将数据加载到这些 store 中。 (3) 存储系统 存储系统实际上就是 scribe 中的 store ，当前 scribe 支持非常多的 store ，包 括 file （文件），buffer （双层存储，一个主储存， 一个副存储） ，network （另 一个 scribe 服务器）， bucket （包含多个 store ，通过 hash 的将数据存到不同 store 中）， null( 忽略数据 ) ，thriftfile （写到一个 Thri