ELK日志分析组件.docxVIP

ELK日志分析组件一．定义ELK是什么？ E=ElasticSearch ，一款基于的Lucene的分布式搜索引擎，我们熟悉的github，就是由ElastiSearch提供的搜索，据传已经有10TB+的数据量。 L=LogStash ，一款分布式日志收集系统，支持多输入源，并内置一些过滤操作，支持多输入元 K=Kibana ，一款配合ElasticSearch的web可视化界面，内置各种查询，聚合操作，并拥有漂亮的图形化展示功能 为什么要用ELK？ 在实际应用中，我们的日志是非常重要的，它通常会记录一些比较重要的信息，如应用程序的log记录的error，warn级别的log，通常在量小的情况下，我们可以直接vi+awk+sed+grep定位原因，在量大的时候，这种方式就捉襟见肘了，而且我们还要各种聚合，或者基于异常多个关键词的搜索，并有且，或，交，并，差，补，排序等一些操作，而且相应速度必须给力，如果线上环境出了故障，能够立刻准确定位，ELK就是高手，在百万大军中取上将首级，犹如探囊取物，所以这时候ELK就非常适合了，当然除此之外，ELK也经常在运维工作中大放光彩，在应用级别的实时监控，非常适合一些重要核心服务的预警。 准备环境Linux 系统：centos7Java版本：JDK1.7+（可以用openjdk）组件：Logstash版本：1.4.2； ElasticSearch版本：1.4.2； Kibana版本：3.1.2；安装步骤3.1、修改selinux安全访问策略配置#setenforce 0#getenforcePermissive# vi /etc/sysconfig/selinuxSELINUX=disabledCentOS6关闭防火墙Service iptables stopChkconfig iptables offCentOS7关闭防火墙systemctl stop firewalld.servicesystemctl disable firewalld.service3.2安装JDK 说明：ElasticSearch和Logstash依赖于JDK # yum -y install java-1.7.0-openjdk* # java -version3.3安装ElasticSearch 说明：ElasticSearch默认的对外服务的HTTP端口是9200，节点间交互的TCP端口是9300。下载ElasticSearch# mkdir -p /opt/software cd /opt/software#wget /elasticsearch/elasticsearch/elasticsearch-1.4.2.tar.gz# tar -zxvf elasticsearch-1.4.2.tar.gz -C /usr/local/# ln -s /usr/local/elasticsearch-1.4.2 /usr/local/elasticsearch 建立软连接安装elasticsearch-servicewrapper，并启动ElasticSearch服务：#wget /elasticsearch/elasticsearch-servicewrapper/archive/master.tar.gz# tar -zxvf master.tar.gz# mv /opt/software/elasticsearch-servicewrapper-master/service /usr/local/elasticsearch/bin/# /usr/local/elasticsearch/bin/service/elasticsearch start测试ElasticSearch服务是否正常，预期返回200的状态码#curl -X GET :92003.4 安装Logstash 说明：Logstash默认的对外服务的端口是9292。下载Logstash#wget /logstash/logstash/logstash-1.4.2.tar.gz#tar -zxvf logstash-1.4.2.tar.gz -C /usr/local/# ln -s /usr/local/logstash-1.4.2 /usr/local/logstash简单测试Logstash服务是否正常，预期可以将输入内容以简单的日志形式打印在界面上：# /usr/local/logstash/bin/logstash -e input { stdin { } } output { stdout {} }创建Logstash配置文件，并再次测试Logstash服务是否正常，预期可以将输