Flume-0.9.4分布式安装与配置手册.PDFVIP

Flume-0.9.4分布式安装与配置手册 Spark大数据博客 - Flume-0.9.4分布式安装与配置手册 Flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。支持在日志系 统中定制各类数据发送方，用于收集数据;同时，Flume提供对数据进行简单处理，并写到各种数 据接受方(比如文本、HDFS、Hbase等)的能力 。 Flume主要有以下几类组件： （1）、Master: 负责配置及通信管理，是集群的控制器，并支持多master节点； （2）、Agent: 采集数据，Agent是flume中产生数据流的地方，同时Agent会将产生的数据流传输到Collector； （3）、Collector: 用于对数据进行聚合（数据收集器），往往会产生一个更大的数据流，然 后加载到storage（存储）中 。 简单地来说，就是Agent把采集到的数据定时发送给Collector，Collector接收Agent发送的数 据并把数据写到指定的位置(比如文本、HDFS、Hbase等)。 这篇文章主要简单介绍如何部署Flume-0.9.4分布式环境，涉及到三台机器。它们的hostnam e分别为master,agent,collector。 1、到官网下载Flume-0.9.4，并解压： [wyp@master ~]$ wget /content/ \ repositories/releases/com/cloudera/flume-distribution/0.9.4-cdh4.0.0/ \ flume-distribution-0.9.4-cdh4.0.0-bin.tar.gz \ [wyp@master ~]$ tar -zxvf flume-distribution-0.9.4-cdh4.0.0-bin.tar.gz [wyp@master ~]$ cd flume-0.9.4-cdh3u3 [wyp@master flume-0.9.4-cdh3u3]$ 2、进入$FLUME_HOMNE/bin目录，将flume-env.sh.template重命名为flume- env.sh，并在flume-env.sh文件里面设置如下变量： [wyp@master flume-0.9.4-cdh3u3]$ cd bin [wyp@master bin]$ cp flume-env.sh.template flume-env.sh [wyp@master bin]$ vim flume-env.sh export FLUME_HOME=/home/q/flume-0.9.4-cdh3u3 export FLUME_CONF_DIR=$FLUME_HOME/conf export PATH=$PATH:$FLUME_HOME/bin export JAVA_HOME=/usr/lib/jvm/java-6-sun 3、进入$FLUME_HOMNE/conf目录，将flume-site.xml.template重命名为flume- 1 / 3 Flume-0.9.4分布式安装与配置手册 Spark大数据博客 - site.xml，并修改flume-site.xml配置文件 [wyp@master bin]$ cd ../conf [wyp@master conf]$ cp flume-site.xml.template flume-site.xml [wyp@master conf]$ vim flume-site.xml property nameflume.master.servers/name valuemaster/value descriptionThis is the address for the config servers status server (http) /description /property property nameflume.collector.out