ELK平台安装部署.pdfVIP

日志分析平台ELKStack 安装搭建手册 一、概述 对于日志来说，最常见的需求就是收集、存储、查询和展示，而开源社区正好有相 对应的开源项目：logstash （收集）、redis （处理队列不做存储）、elasticsearch （存储+搜 索）、kibana （展示），我们将这几个组合起来就称之为ELKStack。 二、安装环境说明 2.1、使用ELK 的必要性 开发人员不能登录线上服务器查看详细日志 各个系统都有日志，日志数据分散难以查找 日志数据量大，查询速度慢，或者数据不够实时 2.2、环境准备 2.2.1、硬件环境：CPU16 核，内存16G，硬盘2T 2.2.2、操作系统：Centos7.4 64 位，内核版本3.1 ，最小化安装 三、部署 3.1、安装java 环境 从官网下载jdk1.8 源码包，解压到相应的文件夹，修改变量，这里就不介绍了，如 果不会可以去网上搜索，很简单，java 安装完成之后使用“java -version ”查看是否安装 成功。 3.2、安装logstash 组件 3.2.1、将下载好的源码包解压到“/usr/local/elk ”目录。 3.2.2、解压好之后直接运行“/usr/local/elk/logstash-5.6.0/bin/logstash –e “” ”,这是一个 标准化输入和输出测试，如果出现下图中的内容说明测试成功。 3.2.3、直接复制 logstash-5.6.0 目录两份，分别改名为logstash-5.6.0_syslog_to_redis， logstash-5.6.0_redis_to_es 这两个目录分别在运行logstash 时要分开，因为后面会有两个 配置文件要同时运行。 3.2.4、标准配置文件模板如下，可以参考，如果需要加入过滤器、字段匹配等等需要另 外安装插件，并写入相应的配置文件。 3.2.4.1、syslog-to-redis 配置模板，这个不需要怎么修改。 3.2.4.2、redis-to-es 配置模板，过滤器、字段匹配等插件配置可以直接往里面写。 3.2.5、运行服务通过“/usr/local/elk/logstash-5.6.0/bin/logstash -f ”指定配置文件即可。 3.3、安装redis 组件 3.3.1、将下载好的源码包解压，进入该目录执行“make install”进行安装。 3.3.2、这里使用的是redis 4.0.8 版本，安装完成之后需要修改一下配置文件“redis.conf” 具体修改见截图。