ELK日志系统部署方案cycwll.pdf

. 概述 日志分析主要包括系统日志、 应用程序日志和安全日志。 系统运维和开发人员可以通过 日志了解服务器软硬件信息、 检查配置过程中的错误及错误发生的原因。 经常分析日志可以 了解服务器的负荷， 性能安全性，从而及时采取措施纠正错误。通常， 日志被分散的储存不 同的设备上， 依次登录每台机器查阅日志的传统方法很繁琐并且效率低下。 所以将日志集中 管理成为运维工作必不可少的手段。 开源实时日志分析框架 ELK 是当前最流行的日志管理架构之一，能够实现对日志集中 管理，并提供全文检索功能，组件 kibana 提供丰富的展示方法。 ELK 能够起到实时系统监 测、应用监测、网络监测、事件管理和发现 bug 等作用。 建设目的 为运维人员提供日志信息，实时了解操作系统、业务、数据库的运行情况。 提高解决故 障的效率，提升故障预警能力。 为开发人员排查故障提供日志查看和搜索功能。 ELK简介 ELK 是 Elasticsearch 、Logstash 、Kibana 的简称。 Elasticsearch 是实时全文搜索和分析引擎，提供搜集、分析、存储数据三大功能； 是一套开放 REST 和 Java API 等结构提供高效搜索功能，可扩展的分布式系统。它 构建于 Apache Lucene 搜索引擎库之上。 Logstash 是一个用来搜集、分析、过滤日志的工具。它支持几乎任何类型的日志， 包括系统日志、错误日志和自定义应用程序日志。它可以从许多来源接收日志，这 些来源包括 syslog 、消息传递（例如 RabbitMQ ）和 JMX ，它能够以多种方式输 出数据，包括电子邮件、 websockets 和 Elasticsearch 。 Kibana 是 一 个 基 于 Web 的 图 形 界 面 ， 用 于 搜 索 、 分 析 和 可 视 化 存 储 在 Elasticsearch 指标中的日志数据。它利用 Elasticsearch 的 REST 接口来检索数据， 不仅允许用户创建他们自己的数据的定制仪表板视图，还允许他们以特殊的方式查 询和过滤数据。 Beats ：包括 filebeat 和 packetbeat ，用来取代 logstash-forward 的轻量级日志 代理，相对于 logstash 占用系统资源少。 . . 日志类型 1、 MySQL 日志：包括 MySQL 错误、慢查询、 MySQL methods 、读写、流量。 2 、 Redis 日志： 3 、 Nginx 日志：按照固定格式输出的日志。 4 、 Tomcat 日志：按照固定格式输出的日志。 5 、 系统日志 messages ：整体系统信息，系统层错误、告警、信息等。 6 、 系统日志 secure ：验证和授权方面信息。 部署架构 由于当前日志量不大， 所以暂时没有使用 redis 或 kafka 等队列工具， 也没有使用集群。 后续可以根据实际负载情况加入缓存和集群。具体部署方案如下： 1、 使用 filebeat 收集所有服务器的 /var/log/messages 和/var/log/secure 日志，并 发送给 log