elkfilebeat搭建日志系统.doc

elkfilebeat 搭建日志系统 Elasticsearch 分布式搜索和分析引擎。具有高可伸缩、高可靠和易管理等 特点。基于 Apache Lucene 构建，能对大容量的数据进行接 近实时的存储、搜索和分析操作。 Logstash 日志收集器。搜集各种数据源，并对数据进行过滤、分析、 格式化等操作，然后存储到 Elasticsearch。 Kibana 数据分析和可视化平台。 与 Elasticsearch 配合使用， 对其中 数据进行搜索、分析、图表展示。 Filebeat 一个轻量级开源日志文件数据搜集器， Filebeat 读取文件内 容，发送到Logstash进行解析后进入 Elasticsearch,或直接 发送到 Elasticsearch 进行集中式存储和分析。 架构介绍 基于 ELK 的使用方式， Logstash 作为日志搜集器， Elasticsearch 进行日志存储， Kibana 作为日志呈现，大致以 下几种架构。 架构一图中 Logstash 多个的原因是考虑到程序是分布式架 构的情况，每台机器都需要部署一个 Logstash,如果确实是 单服务器的情况部署一个 Logstash 即可。 前面提到 Logstash 会对数据进行分析、过滤、格式化等操 作，这一系列操作对服务器的 CPU 和内存资源的消耗都是 比较高的，所以这种架构会影响每台服务器