Hadoop大数据技术与项目实战 实训指导书——2.5 Flume原理及安装部署.pdf

山西职业技术学院《Hadoop大数据技术与项目实战》

Flume原理及安装部署

一、任务描述

Flume是Cloudera(克劳德尔)公司提供的一款高可用、高可靠、分布式的系统，可

用于海量日志的采集、聚合和传输。本任务是在Hadoop集群的node1节点安装部署

Flume。安装过程是首先上传解压Flume安装包，之后设置环境变量，最后修改配置文

件。

二、能力目标

能正确搭建Flume环境

三、任务准备

1.Xshell软件，Xftp软件

2.apache-flume-1.9.0-bin.tar.gz

四、任务实施

1.上传解压Flume压缩包，设置环境变量

使用Xftp软件，将Flume安装包apache-flume-1.9.0-bin.tar.gz上传到node1节点

的/opt/software目录中。

将Flume安装包解压到node1节点的/opt/module目录下。

[bigdata@node1software]$tar-zxvfapache-flume-1.9.0-bin.tar.gz-C/opt/modul

e/

切换到node1节点/opt/module目录下，将apache-flume-1.9.0-bin文件名更名为

flume-1.9.0。

[bigdata@node1module]$mvapache-flume-1.9.0-binflume-1.9.0

1

山西职业技术学院《Hadoop大数据技术与项目实战》

下面，设置环境变量，打开根目录中etc中的profile文件。

[bigdata@node1module]$sudovim/etc/profile

在profile文件中添加以下两行内容，添加完成后保存退出该文件。

exportFLUME_HOME=/opt/module/flume-1.9.0

exportPATH=$PATH:$FLUME_HOME/bin

使用source命令使环境变量配置生效。

[bigdata@node1module]$source/etc/profile

2.修改配置文件

打开Notepad++软件，连接node1节点进入/opt/module/flume-1.9.0/conf目录，

右击flume-env.sh.template文件，单击“RenameFile”菜单项，重命名为flume-env.sh。

双击打开该文件，在22行位置，首先去掉行首的“#”，指定JAVA_HOME路径为

/opt/module/jdk1.8.0_251，如下图所示，修改完毕后保存该文件。

在node1节点的命令行窗口中输入命令flume-ng，进行安装测试。

2

山西职业技术学院《Hadoop大数据技术与项目实战》

[bigdata@node1module]$flume-ng

命令执行结束后显示Flume命令的可选参数，说明Flume配置成功。

3