日志分析平台设计文档-VMCDORG.PDFVIP

日志分析平台设计文档 目录 概述1 介绍1 架构和基本数据流2 日志收集器- Filebeat2 Broker - kafka4 日志索引器（Indexer）- Logstash4 Elasticsearch 5 Elasticsearch 直通多目录数据盘和RAID0 单目录数据盘压测5 软件环境5 硬件环境5 压测环境部署5 压测命令6 压测结果6 压测总结7 概述 日志分析平台对收集到的日志进行分析和展示，并对隐含故障、危险操作、服务情 况进行预警。 介绍 日志分析平台涉及到日志收集、拆解、存储、分析、检索、展现、报警等几个重要 部分。 日志收集器（Sniper ）收集系统、服务级日志并作为生产者将每条日志作为一条消 息写入消息中间件（Broker），提供给日志索引器（Indexer）、日志分析器 （analyzer ）等应用消费并进行字段拆分、分析、报警、落库、展现等操作。 架构和基本数据流 日志收集器- Filebeat 日志分析平台主要收集以下日志：  系统日志  /var/log/message  /var/log/secure.log  cmd_log  网络日志  Tengine 日志  access log  error log  DB 日志 目前所有的系统日志和网络日志均实时上传至rsyslog-ng 服务器 （ ）上存储，因此日志只需要在rsyslog 服务器 、DB 服务器、 LB 服务器上进行收集即可，不需要大面积部署日志收集器，减少日志收集器的维 护成本。 日志收集器作用  指定日志收集文件（支持通配符匹配、包括、排除）；  能够自动发现符合要求的日志并收集；  能够准确跟踪日志文件；  添加额外字段标识日志类型；  将类似DB 操作日志、Java 日志等多行日志形成一条完整日志进行收集或转储；  支持输出到消息中间件进行缓冲消息。  支持不同类型日志分发到不同的目标上，如转发到kafka 不同的topic 上。 日志收集器要求 日志收集器需要运行在Tengine、MySQL、rsyslog 等高负载服务器上，所以日志 分析器满足轻量级、高效才能够保证日志收集器在收集日志期间不影响服务运行， 同时能够及时收集日志。易部署、易配置性也是日志收集器选型的标准。 Filebeat Filebeat 是Elastic stack 提供的一个负责日志收集和转储的日志收集器。Filebeat 是基于logstash-forwarder 源代码重新使用GO 语言进行改造和实现的产物，用于 替代logstash-forwarder ，换句话说Filebeat 是logstash-forwarder 新版。支持使 用通配符指定收集的日志目录或文件，并将日志输出到logstash、Elasticsearch、 console、file 、kafka、redis。 Filebeat 和 logstash 对比，logstash 由 ruby 实现，在运行过程中还需要依赖 JDK，在收集大量日志时，logstash 会占用较高的内存并消耗CPU，可能会影响 服务响应。而Filebeat 在同等情况下，CPU 和内存消耗率极低。同时Filebeat 满 足现日志收集器作用中列出的功能，所以选用Filebeat 做为日志平台的日志收集 器。 Filebeat 收集日志流 Filebeat 对收集到的日志根据其大类打上一个tags ，再将其类型作为type 和对应 Topic，之后，Filebeat 根据日志type 将其输出到kafka 对应的Topic 中。例如 /var/log/messages 日志属于系统日志这一大类，所以tag 为“syslog”。其本身类型 为msg，则将type 设置为msgLog，并输出到Topic msgLog 。 Broker - kafka Broker 作用 使用kafka 作为Broker 可以保证在后端无法即使消费的情