使用logstash+kibana+elasticsearch+redis搭建集中式日志分析平台.docxVIP

搭建logstash+kibana+elasticsearch+redis搭建集中式日志分析平台LogStash架构专为收集、分析和存储日志所设计，正适合分布式系统，因此我根据官方文档和网上经验搭建了这个平台。安装环境平台架构采用LogStash的官方推荐环境规划4(CentOS5.5)：Broker34(CentOS5.5)：Indexer,StorageSearch,Web Interface1/2....(CentOS5.5)：Shiper必要组件JDK安装步骤在4安装并启动Redis下载解压# cd /usr/local# wget /files/redis-2.6.14.tar.gz# tar -xzvf redis-2.6.14.tar.gz创建软链接（非必须）这里是个人习惯，以后版本变迁的时候便于升级，可以跳过，但如果跳过的话下面相应的目录就要变更。# ln -s redis-2.6.14 redis编译# cd redis# make建立Redis目录（非必须）这步只是习惯将Redis相关的资源统一管理，可以跳过。# mkdir -p bin# mkdir -p etc# mkdir -p var# cp src/redis-server src/redis-cli src/redis-benchmark src/redis-sentinel src/redis-check-dump src/redis-check-aof?bin/# cp redis.conf etc/配置参数# vi etc/redis.conf对redis.conf做如下变更daemonize yespidfile /usr/local/redis/var/redis.pidport 6379timeout 300loglevel debuglogfile /usr/local/redis/var/redis.logdatabases 16save 900 1save 300 10save 60 10000rdbcompression yesdbfilename dump.rdbdir /usr/local/redis/var/appendonly noappendfsync always启动# bin/redis-server etc/redis.conf在34安装并启动ElasticSearch下载解压,可到官网直接下载，也可使用wget。# cd /usr/local# wget /elasticsearch/elasticsearch/elasticsearch-1.1.1.tar.gz# tar -zxvf elasticsearch-1.1.1.tar.gz创建软连接。这里是个人习惯，以后版本变迁的时候便于升级，可以跳过，但如果跳过的话下面相应的目录就要变更。# ln -s elasticsearch-1.1.1 elasticsearch这里我们使用默认配置，直接启动。# elasticsearch/bin/elasticsearch在34安装并启动LogStash下载并解压Logstash。# curl -O /logstash/logstash/logstash-1.4.1.tar.gz# tar -xzvf logstash-1.4.1创建软连接。这里是个人习惯，以后版本变迁的时候便于升级，可以跳过，但如果跳过的话下面相应的目录就要变更。# ln -s logstash-1.4.1 logstash创建配置文件# cd logstash# mkdir conf# vi conf/redis.conf内容如下input?{ redis?{? host?=?4? data_type?=?list port?=?6379? key?=?logstash:redis? type?=?redis-input? }}output?{? elasticsearch?{? host = }}?解释一下 logstash的配置文件由 input filter output 等几个基本的部分组成，顾名思义 input 就是在哪收集数据，output就是输出到哪，filter代表一个过滤规则意思是什么内容会被收集。上面这段是让 logstash 去4 这个redis服务器上去收集日志 redis端口为6379，key是 logstash:redis 类型为 redis-input ，（注意:这几个值必须跟logstash agent的output 所对应），收集完成后输出到 elasticsearch ,如果elasticsearch有更改端口，需要将这条改为host = elasticsearch的ip port = 端口?启动logs