利用ElasticStack构建集中运维8志分析平台.docx

?

?

利用ElasticStack构建集中运维8志分析平台

?

?

张鹏

摘要

大数据时代，服务器规模的不断扩大和分布式云应用的快速普及，使得系统运行监控和日常维护变得十分重要，相关运行日志的管理是其中一个不容忽视的问题。本文通过介绍ElasticStack的部署及应用情况，直观展现了ElasticStack在日志收集及分析、增强系统监控运维能力、提升运维效率方面的作用，也为技术运维部门探索实现自动化运维的工具引入和广泛使用提供了参考。

【关键词】运维日志管理数据采集数据分析数据挖掘ElasticStack

1引言

随着互联网技术的不断发展，云计算及大数据技术日新月异，部署互联网应用系统由以前的步骤复杂变得越来越简单，甚至按一个按钮就已经可以上线使用。这样的变化也驱动着系统运维由传统的运维管理开始向运维分析转变，从而从分散人工操作向集中自动化运维服务转变。在日常运维中，操作系统、应用服务、数据库服务和安全设备等主要维护对象，每天都会产生大量的日志数据，这些数据包括了系统运行信息、、访问日志信息、数据库操作信息、安全拦截信息等。这些信息价值很高，获取成本低，具有特有的优势，也是企业信息资产的重要组成部分。因此，日志数据的分析挖掘就成为运维分析的首个考虑要素。

过去，系统产生的日志数据基本都是分散存在于宿主服务器磁盘上，运维工程师通过远程连接工具登陆对应服务器，手动输入相应的查看命令进行临时、事后的分析和审计工作。在现在大数据的时代，系统产生的海量日志分布在本地机房、托管机房、公用云服务等不同的地方，传统的日志处理方案显示非常低效，也会因为操作习惯的差异导致出错机率的增加。因此，对日志进行及时收集、统一管理和实时分析成为运维部门急需解决的问题。

ElasticStack实现了海量日志的统一管理和高效挖掘分析，有效地发挥了日志信息在故障处理、问题定位、性能优化等实际运维工作中的作用。

2ElasticStack简介

2.1ElasticStack简介

ElasticStack是三个软件产品的组合，分别是：Elasticsearch，Logstash和Kibanao通常三者配合使用。Elasticscarch是一个基于Lucene的搜索服务器;Logstash是一个管理事件和日志的工具;Kibana是一个开源的分析与可视化平台，设计出来用于和Elasticsearch一起使用的。

其实，简单来说，ElasticStack的核心是Elasticsearch，Logstash和Kibana都是为Elasticsearch服务的。使用Logstash能够很方便的将其他来源的数据，比如：日志文件、数据库等方便的导入到Elasticsearch中。使用Kibana可以直观清晰的展示Elasticsearch中存储的数据，生成图表，帮助分析，同时提供控制台来操作Elasticscarch。这三者的有机结合为日志数据实时、可视化处理提供了完整的解决方案。

2.2ElasticStack在日志管理与分析方面具有以下优点

处理灵活：Elasticsearch是实时全文索引;

配置简单：Elasticsearch全部采用JSON接口，Logstash是RubyDSL设计，都是目前业界最通用的配置语法设计;

性能高效：确保每次查询都是实时计算，优秀的设计和实现基本可以达到百亿级数据查询的秒级响应;

集群扩展：Elasticscarch和Logstash集群都是可以线性扩展的;

数据可视：Kibana界面上，运维人员点击鼠标，就可以完成搜索、聚合功能，使数据以生成炫丽的图片，组成仪表板进行集中展示。

2.3ElasticStack解决了以下运维痛点

开发人员不能登录线上服务器查看详细日志：由于企业人事架构的限制，开发人员与运维人员对于线上服务器的操作权限是有区别的，那意味着对于已上线应用需要检查运行日志进行排障的时候，就必须要运维人员介入配合，从而增加沟通成本和影响工作效率。

各个系统日志信息分散存放，技术人员难以查找：随着企业的不断发展，应用系统越来越多，甚至出现应用平台集群化部署的情况，技术人员查找分析日志的难度和时间随着平台子系统规模的扩大而增大。

日志数据量大，查询速度慢，或者数据不够实时：应用系统运行过程时刻产生日志数据，且数据量大，通过系统文本处理工具进行查询耗费时间太长，也无法感知新采集的日志数据，影响最终报告的输出。

3ElasticStack平台应用实践

3.1平台网络拓扑架构

为保证日志分析服务的可扩展性，采取分区域搭建Logstash及Redis服务，再组成集群，充分结合了企业自身的网络环境实际，平台网络拓扑如图1所示。

这个架构中，首先在接入平台日志收集的各个收集对象（服务器群）