flume介绍以及安装配置..docxVIP

flume介绍以及安装配置背景介绍Flume是Cloudera提供的日志收集系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据;同时，Flume提供对数据进行简单处理，并写到各种数据接受方(可定制)的能力。Flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。Flume下载及安装系统环境RedHat Enterprise Linux 5.4（测试系统，flume需安在linux环境下面进行安装）下载Flume官方下载地址：/cdh/3/Flume 官方文档地址：/cdh/3/flume/UserGuide/index.htmlJdk1.6 官方下载址：/download/jdk6/6u10/（flume需要jdk1.6+环境）安装以root身份登录系统。安装jdk之前，先通过java -version检查一下当前的linux系统中是否已经安装了jdk,在redhat5.4企业版中默认安装了jdk1.4。如果有，请用如下命令yum remove java删除将下载的jdk和flume拷贝到redhat系统上，这里先通过mkdir /opt/javasoft建立一个目录，然后通过cp命令把jdk-6u21-linux-i586-rpm.bin和flume-0.9.1+1.tar.gz拷贝到这里。注意：如果是用虚拟机安装的redhat,要实现windows和redhat的文件共享需要安装VMWare tools在终端中转到jdk-6u21-linux-i586-rpm.bin所在的目录，输入命令#chmod +755 jdk-6u21-linux-i586-rpm.bin? //添加执行的权限在终端中执行#./jdk-6u1-linux-i586-rpm.bin?，//生成jdk-6u1-linux-i586.rpm的文件然后执行#rpm –ivh jdk-6u1-linux-i586.rmp?设置jdk环境变量。在/etc/profile中找到export PATH USER LOGNAME MAIL HOSTNAME HISTSIZE INPUTRC一行，然后再该行上面加入如下内容：export JAVA_HOME=/usr/java/jdk1.6.0_21export PATH=$PATH:$JAVA_HOEM/bin:$JAVA_HOME/jre/binexportCLASSPATH=.:/usr/java/jdk1.6.0_21/lib:/usr/java/jdk1.6.0_21/jre/lib:$CLASSPATH在终端中转到flume-0.9.1+1.tar.gz所在的目录，输入命令tar -zxvf flume-0.9.1+1.tar.gz解压，然后在终端中输入cp -R flume-0.9.1+1 /usr/local/flume；拷贝flume-0.9.1+1到/usr/local/下并重命名为flume设置flume环境变量：export FLUME_HOME=/usr/local/flume export FLUME_LOG_DIR=$FLUME_HOME/logexport PATH=$PATH:$FLUME_HOME/bin运行flume如下：安装成功，否则检查jdk是否安装成功，环境变量是否正确配置工作流程下图的Flume的Architecture，在Flume中，最重要的抽象是data flow(数据流)，data flow描述了数据从产生，传输、处理并最终写入目标的一条路径。在上图中，实线描述了data flow。其中，Agent用于采集数据，agent是flume中产生数据流的地方，同时，agent会将产生的数据流传输到collector。对应的，collector用于对数据进行聚合，往往会产生一个更大的流。Flume提供了从console(控制台)、RPC(Thrift-RPC)、text(文件)、tail(UNIX tail)、syslog(syslog日志系统，支持TCP和UDP等2种模式)，exec(命令执行)等数据源上收集数据的能力。同时，Flume的数据接受方，可以是console(控制台)、text(文件)、dfs(HDFS文件)、RPC(Thrift-RPC)和syslogTCP(TCP syslog日志系统)等。其中，收集数据有2种主要工作模式，如下：　Push Sources：外部系统会主动地将数据推送到Flume中，如RPC、syslog。Polling Sources：Flume到外部系统中获取数据，一般使用轮询的方式，如text和exec。注意，在Flume中，agent和collector对应，而source和sink对应。Source和