ELK日志采集监控方案.docx

ELK日志采集监控方案概述基于ELK搭建日志实时采集监控系统系统要求优化系统内核配置：ulimitlogstash各组件间有版本依赖，请注意使用的版本匹配配置好邮件服务sendmail系统组成Elasticsearch +?Logstash?+ Kibana（ELK）：Elasticsearch：日志汇总存储并创建索引提供查询服务Logstash：日志采集、过滤与监控，logstash本身提供多种input-output策略，可灵活选择Kibana：提供统一的日志查询web界面，同时可以进行分类图表统计架构策略在应用服务端配置logstash-agent负责采集原始日志并汇总到MQ，MQ选用kafka进行日志消息缓存与分发，后端部署logstash-indexer，订阅kafka topic内日志消息并写入ES文件存储，同时判断日志消息内是否包含错误或异常等信息，通过sendMail邮件服务发送报警邮件到相关邮件组，后端ES部署双节点集群做分布式搜索服务，提供http服务给kibana供用户通过web界面查询实时日志。如图：1 JDK安装略2 ES注：ES最新版本要求不能以root方式启动，需创建对应用户并赋予es相关文件路径的控制权限ES2.0版与kibana新版整合时，有js兼容问题，kibana UI界面在IE、chrome下无法打开，Firefox可以2.1单节点模式下载e