ELK日志分析平台在系统运维中应用.docVIP

ELK日志分析平台在系统运维中应用 　　随着气象部门对数据传输时效要求不断提升，以及业务系统规模不断扩大，对系统中日志的收集和集中处理的需求越来越高。本文提出了基于ELK实时进行大日志数据搜索的软件集成方案。通过对ELK、Redis整合方案的介绍描述了ELK日志分析平台的日志处理流程，结合全国综合气象信息共享系统（CIMISS）内蒙古气象局实际场景设计了ELK日志分析平台。通过分析日志可以快速定位系统异常，提前预警风险，加快了气象部门实现智能化运维、信息化管理的步伐。 　　【关键词】日志分析 ELK 智能化运维 　　1 引言 　　大数据时代，随着存储与计算集群规模的不断扩大，气象部门业务系统的集群环境也已普遍。然而现在的机群系统不仅限于解决性能、可靠、可扩展性等层面上，更重要的是具有易操作性和内部数据共享性等。运维及开发人员通过日志信息不但可以知道系统运行状况、检查运行过程中的错误及排查原因，还可以知道服务器的负荷，性能安全性，从而及时采取措施纠正错误。 　　大规模集群系统中日志被分散的储存不同的设备上。传统方法通过使用命令工具如cat、tail、sed、awk、grep等等进行过滤输出后分析的方法由于效率较低与不再适用，明显增加了运维工作量。当务之急的工作就是要使用集中化的日志管理平台，将所有服务器上的日志收集汇总进行监控、分析。优秀的系统运维平台既能实现数据平台各组件的集中式管理、方便系统运维人员日常监测、提升运维效率，又能反馈系统运行状态给系统开发人员。 　　2 ELK简介 　　ELK是由ElasticSearch、Logstash、Kibana组成的开源日志处理平台解决方案。ELK能把这些日志集中管理，并提供全文检索、统计分析功能，不仅可以提高诊断的效率，同时可以起到实时系统监测、网络安全、事件管理和发现bug等功能。 　　2.1 ElasticSearch简介 　　ElasticSearch是一个基于Lucene的全文搜索引擎。基于RESTful web接口，提供了一个分布式多用户能力的全文搜索引擎。用Java开发的Apache许可条款下的开放源码。在云计算应用中，能够达到实时搜索，稳定，可靠，快速，且安装使用方便。 　　2.2 Logstash简介 　　Logstash由JRuby语言编写的日志采集解析工具，基于消息（message-based）的简单架构。Logstash由input、filter和output三部分组成，input负责从数据源提取数据，filter负责解析、处理数据，output负责输出数据，每部分都有提供丰富的插件。不同于分离的代理端（agent）或主机端（server），Logstash可配置单一的代理端（agent）与其它开源软件结合，以实现不同的功能。 　　2.3 Kibana简介 　　Kibana也是一个开源的分析可视化平台，它具有汇总、分析和搜索重要数据日志并提供友好的web界面的功能。他可以为Logstash和ElasticSearch提供的日志分析的 Web 界面，具有较好的展示效果，可以自定义多种表格、柱状图、饼状图、折线图，对存储在ElasticSearch中的数据进行深入挖掘分析与可视化。 　　3 日志分析系统 　　3.1 日志分析系统框架 　　基于ELK的日志分析系统的体系结构总体分为日志采集、日志预处理和日志分析三部分，如图1所示。 　　虽然单纯的ELK架构方式容易搭建，但是由于没有消息队列缓冲，存在数据丢失隐患，故本文设计的日志分析平?_引入了消息队列机制。多个独立的Logstash agent（shipper）部署在CIMISS系统（26台服务器）各个日志生成host上，负责收集不同来源的日志，直接将日志输出到Redis队列（list）中；Logstash（Indexe）负责从Redis中取出数据，对数据进行格式化和相关预处理后，输出到ElasticSearch集群中存储；最后由Kibana呈现给用户做统计、分析。 　　3.2 ELK环境部署 　　3.2.1 基础环境准备 　　ELK日志分析平台采用两台安有Centos6.4系统的虚拟机作为集群，一台作为master节点，另一台为slave节点，master收集到日志后，会随机把一部分数据碎片到salve上；同时，master和slave又都会各自做副本，并把副本放到对方机器上，这样就保证了数据不会丢失。如果master宕机了，那么客户端在日志采集配置中将ElasticSearch主机指向改为slave，就可以保证ELK日志的正常采集和web展示。 　　3.2.2 ElasticSearch安装及配置 　　由于ElasticSearch和Logstash都是依赖于java