ELK实时日志分析平台环境部署--完整记录.pdf

ELK实实时时⽇⽇志志分分析析平平台台环环境境部部署署--完完整整记记录录 在⽇常运维⼯作中，对于系统和业务⽇志 处理尤为重要。今天，在这⾥分享⼀下⾃⼰部署 ELK （+Redis）-开源实时⽇志分析平台 记录过程 （仅依据本⼈ 实际操作为例说 明，如有误述，敬请指出）~ ================概念介绍================ ⽇志主要包括系统⽇志、应⽤程序⽇志和安全⽇志。系统运维和开发⼈员可以通过⽇志了解服务器软硬件信息、检查配置过程中 错误及错误发⽣ 原因。经常分析⽇志可以了 解服务器 负荷，性能安全性，从⽽及时采取措施纠正错误。 通常，⽇志被分散在储存不同 设备上。如果你管理数⼗上百台服务器，你还在使⽤依次登录每台机器 传统⽅法查阅⽇志。这样是不是感觉很繁琐和效率低下。当务之急我们 使⽤集中化 ⽇志管理，例如：开源 syslog ，将所有服务器上 ⽇志收集汇总。 集中化管理⽇志后，⽇志 统计和检索⼜成为⼀件⽐较⿇烦 事情，⼀般我们使⽤grep、awk和wc等Linux命令能实现检索和统计，但是对于要求更⾼ 查询、排序和统计等要求 和庞⼤ 机器数量依然使⽤这样 ⽅法难免有点⼒不从⼼。 通过我们需要对⽇志进⾏集中化管理，将所有机器上 ⽇志信息收集、汇总到⼀起。完整 ⽇志数据具有⾮常重要 作⽤： 1）信息查找。通过检索⽇志信息，定位相应 bug ，找出解决⽅案。 2）服务诊断。通过对⽇志信息进⾏统计、分析，了解服务器 负荷和服务运⾏状态，找出耗时请求进⾏优化等等。 3）数据分析。如果是格式化 log ，可以做进⼀步 数据分析，统计、聚合出有意义 信息，⽐如根据请求中 商品id ，找出T P10⽤户感兴趣商品。 开源实时⽇志分析ELK平台能够完美 解决我们上述 问题，ELK由ElasticSearch、Logstash和Kiabana三个开源⼯具组成： 1）ElasticSearch是⼀个基于Lucene 开源分布式搜索服务器。它 特点有：分布式，零配置，⾃动发现，索引⾃动分⽚，索引副本机制，restful风格接⼝，多数据源，⾃动搜 索负载等。它提供了⼀个分布式多⽤户能⼒ 全⽂搜索引擎，基于RESTful web接⼝。Elasticsearch是⽤Java开发 ，并作为Apache许可条款下 开放源码发布，是第⼆流⾏ 企业搜索引擎。设计⽤于云计算中，能够达到实时搜索，稳定，可靠，快速，安装使⽤⽅便。 在elasticsearch中，所有节点 数据是均等 。 2）Logstash是⼀个完全开源 ⼯具，它可以对你 ⽇志进⾏收集、过滤、分析，⽀持⼤量 数据获取⽅法，并将其存储供以后使⽤ （如搜索）。说到搜索，logstash带有⼀个 web界⾯，搜索和展⽰所有⽇志。⼀般⼯作⽅式为c/s架构，client端安装在需要收集⽇志 主机上，server端负责将收到 各节点⽇志进⾏过滤、修改等操作在⼀并发往 elasticsearch上去。 3）Kibana 是⼀个基于浏览器页⾯ Elasticsearch前端展⽰⼯具，也是⼀个开源和免费 ⼯具，Kibana可以为 Logstash 和 ElasticSearch 提供 ⽇志分析友好 Web 界⾯，可 以帮助您汇总、分析和搜索重要数据⽇志。 为什么要⽤到ELK？ ⼀般我们需要进⾏⽇志分析场景是：直接在⽇志⽂件中 grep、awk 就可以获得⾃⼰想要 信息。但在规模较⼤ 场景中，此⽅法效率低下，⾯临问题包括⽇志量太⼤如何归档、 ⽂本搜索太慢怎么办、如何多维度查询。需要集中化 ⽇志管理，所有服务器上 ⽇志收集汇总。常见解决思路是建⽴集中式⽇志收集系统，将所有节点上 ⽇志统⼀收集，管 理，访问。 ⼀般⼤型系统是⼀个分布式部署 架构，不同 服务模块部署在不同 服务器上，问题出现时，⼤部分情况需要根据问题暴露 关键信息，定位到具体 服务器和服务模块，构 建⼀套集中式⽇志系统，可以提⾼定位问题 效率。 ⼀般⼤型系统是⼀个分布式部署 架构，不同 服务模块部署在不同 服务器上，问题出现时，⼤部分情况需要根据问题暴露 关键信息，定位到具体 服务器和服务模块，构 建⼀套集中式⽇志系统，可以提⾼定位问题 效率。 ⼀个完整 集中式⽇志系统，需要包含以下⼏个主要特点： 1）收集－能够采集多种来源 ⽇志数据 2）传输－能够稳定 把⽇志数据传输到中央系统 3）存储－如何存储⽇志数据 4）分析－可以⽀持 UI 分析 5）警告－能够提供错误报告，监控机制 ELK提供了⼀整套解决⽅案，并且都是开源软件