大数据技术基础及应用实验手册9.Flume数据采集实战.pdfVIP

9Flume数据采集实战

9.1实验背景

Flume是大数据组件中重要的数据采集工具，我们常利用Flume采集各种数据源

的数据供其他组件分析使用。在日志分析业务中，我们常采集服务器日志，以分

析服务器运行状态是否正常。在实时业务中，我们常将数据采集到Kafka中，以

供实时组件Streaming或Spark等分析处理，Flume在大数据业务中有着重要的

应用。

9.2实验目的

掌握Flume的配置和使用，能够使用Flume实现数据采集操作。

9.3实验前提

实验环境创建成功后，请等待1-2分钟，后台在执行start-oms.sh脚本：

1.执行sh${BIGDATA_HOME}/om-server/om/sbin/status-oms.sh命令查看

OMS的状态，显示信息表示主备OMS服务启动正常再执行下一步。

2.在windows-client打开GoogleChrome浏览器登录FusionInsight

Manager地址（00:8080/web）。

3.用户名admin，密码Huawei!@34（如原密码过期，则自行修改密码）

4.登录FusionInsightManager后，单击“服务管理”，选择“更多操作

启动集群”。

5.在弹出的提示框中单击“确定”，开始启动集群。界面提示“操作成功。”，

单击“完成”，集群成功启动。

6.使用SecureCRT工具登录到fihsots-1节点上，接下来进行环境变量设

置与用户认证。

cd/opt/hadoopclient/切换到客户端安装目录。

sourcebigdata_env配置环境变量。

kinituser01进行用户认证，输入用户密码

客户端文件安装于fihosts-1服务器的/opt/hadoopclient目录中，认证用

户user01，密码Huawei!@34

9.4实验任务

9.4.1安装Flume客户端

•操作场景

该操作指导安装工程师安装Flume客户端。

•前提条件

•已成功安装集群及Flume服务。

•安装目的目录可以不存在，会自动创建；但如果存在，则必须为空。目录

路径不能包含空格。

•操作步骤

1.获取软件包。

登录FusionInsightHD集群，单击“服务管理Flume下载客户端”，

设置“客户端类型”为“完整客户端”，下载Flume服务客户端文件。

2.上传软件包。

使用WinSCP工具将“FusionInsight_Flume_Client.tar”文件上传到将

要安装Flume服务客户端的节点目录上，例如“/opt”。

注：本次实验，Flume客户端安装在fihosts-1节点上，从本地采集数据

存放到HDFS中。

3.解压软件包。

使用“SecureCRT”工具登录到将要安装Flume服务客户端的节点。进入

安装包所在目录，例如“/opt”，执行如下命令解压安装包到本地目录。

cd/opt

tar-xvfFusionInsight_Flume_Client.tar

4.校验软件包。

执行sha256sum命令校验解压得到的文件

“FusionInsight_Flume_ClientConfig.tar”，回显“OK”表示校验通过。

例如:

sha256sum-cFusionInsight_Flume_ClientConfig.tar.sha256

FusionInsight_Flume_ClientConfig.tar:OK

5.解压“FusionInsight_Flume_ClientConfig.tar”文件，生成

“FusionInsight_Flume_ClientConfig”文件夹。

tar-xv