ELK-5x平台搭建.docx

ELK搭建文档ELK平台介绍日志主要包括系统日志、应用程序日志和安全日志。系统运维和开发人员可以通过日志了解服务器软硬件信息、检查配置过程中的错误及错误发生的原因。经常分析日志可以了解服务器的负荷，性能安全性，从而及时采取措施纠正错误。通常，日志被分散的储存不同的设备上。如果你管理数十上百台服务器，你还在使用依次登录每台机器的传统方法查阅日志。这样是不是感觉很繁琐和效率低下。当务之急我们使用集中化的日志管理，例如：开源的syslog，将所有服务器上的日志收集汇总。集中化管理日志后，日志的统计和检索又成为一件比较麻烦的事情，一般我们使用grep、awk和wc等Linux命令能实现检索和统计，但是对于要求更高的查询、排序和统计等要求和庞大的机器数量依然使用这样的方法难免有点力不从心。开源实时日志分析ELK平台能够完美的解决我们上述的问题，ELK由ElasticSearch、Logstash和Kiabana三个开源工具组成。官方网站：https://www.elastic.co/productshttps://www.elastic.co/productsElasticsearch是个开源分布式搜索引擎，它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制，restful风格接口，多数据源，自动搜索负载等。Logstash是一个完全开源的工具，他可以对你的日志进行收集、过滤，并将其存储供以后使用（如，搜索）。Kibana 也是一个开源和免费的工具，它Kibana可以为 Logstash 和 ElasticSearch 提供的日志分析友好的 Web 界面，可以帮助您汇总、分析和搜索重要数据日志。ELK工作的原理图：如图：Logstash收集AppServer产生的Log，并存放到ElasticSearch集群中，而Kibana则从ES集群中查询数据生成图表，再返回给Browser。Elk-5.0.0安装官网下载5.0.0：https://www.elastic.co/downloads/elasticsearchhttps://www.elastic.co/downloads安装ElasticsearchElasticsearch-5.0.0依赖于jdk-1.8，请确保需要安装的机器jdk版本不低于1.8.0_73查看：java -version下载java-1.8：/technetwork/java/javase/downloads/jdk8-downloads-2133151.htmlElasticsearch解压后主要修改配置文件config/elasticsearch.yml,严格按照原来的格式修改,否则不识别,修改下面几项:# : es_cluster #集群名，依此识别并组成集群# : node-1 #节点名，集群内每个节点名不同# network.host: #配置本机ip，以便外网访问我的data节点配置(.yml的文件冒号后面必须加空格): es_: cdh3network.host: cdh3添加防脑裂配置(因为elc默认是一个局域网内能搜索到的就是一个集群,一些原因会导致分成几个集群)discovery.zen.ping.multicast.enabled: falsediscovery.zen.ping_timeout: 120sclient.transport.ping_timeout: 60sdiscovery.zen.ping.unicast.hosts: [cdh2,cdh1,cdh4]设置该节点仅仅为数据节点node.master: false #设置不充当master节点，默认为truenode.data: true #设置充当data节点，默认为trueelasticsearch配置的相同，都启动可以自动组成集群，这里如果不改则默认是=elasticsearch，nodename随意取但是集群内的各节点不能相同,host设置自己的ip另一个master节点的配置如下:: es_: cdh4node.master: true#设置充当master节点，默认为truenode.data: false #设置不充当data节点，默认为truenetwork.host: cdh4discovery.zen.ping.multicast.enabled: falsediscovery.zen.ping_timeout: 120sclient.transport.ping_timeout: 60sdiscovery.zen.ping.unicast.hosts: [cdh2,cdh4,cdh3]注： discovery设置自动发现集群，discovery.zen.ping.unicast.hos