大数据技术基础及应用实验手册集群综合实验2.pdfVIP

集群综合实验2

实验背景

大数据业务中，通常需要将多种组件构建成一个业务系统，以满足上层业务

需要。本实验将前面的组件进行有机的组合，构建一个大数据分析和实时查询平

台。

某企业现在提出了相关需求，该企业数据是存储在外部服务器中的。需要将

数据导入到大数据平台，并进行存储。之后需要对数据进行持久化存储和快捷查

询的功能。为了实现以上要求。我们在该实验中使用了Flume、HDFS、Hue、Loader、

、六个相关组件。实现流程概况如下：

HbaseSolr

首先由Flume读取日志数据存入到HDFS中，然后采用Loader将HDFS中

的数据导入到HBase中，最后Solr为HBase的数据创建实时索引。

实验分为两部分，第一部分Flume静态采集新建的日志文件内的数据，通过

Loader批量导入到HBase中并且建立Solr索引。第二部分，Flume动态采集日

志文件内更新的数据，通过Loader定时导入到HBase，Solr为HBase中的新数

据创建实时索引。

实验目的

综合运用大数据组件进行数据的转换和索引查询。

实验前提

已完成各组件的实验任务，对各组件的工作原理有一定的了解，掌握各组件

常见操作。

实验环境创建成功后，请等待1-2分钟，后台在执行start-oms.sh脚本：

1.执行sh${BIGDATA_HOME}/om-server/om/sbin/status-oms.sh命令查看

OMS的状态，显示信息表示主备OMS服务启动正常再执行下一步。

2.在windows-client打开GoogleChrome浏览器登录FusionInsight

Manager地址（00:8080/web）。

3.用户名admin，密码Huawei!@34（如原密码过期，则自行修改密码）

4.登录FusionInsightManager后，单击“服务管理”，选择“更多操作

启动集群”。

5.在弹出的提示框中单击“确定”，开始启动集群。界面提示“操作成功。”，

单击“完成”，集群成功启动。

6.使用SecureCRT工具登录到fihsots-1节点上，接下来进行环境变量设

置与用户认证。

cd/opt/hadoopclient/切换到客户端安装目录。

sourcebigdata_env配置环境变量。

kinituser01进行用户认证，输入用户密码

客户端文件安装于fihosts-1服务器的/opt/hadoopclient目录中，认证用

户user01，密码Huawei!@34

实验任务

Flume+HDFS+Hue+Loader+HBase+Solr离线数据采集分析与

实时查询

服务组件准备

步骤1登录FusionManager。

步骤2安装Flume客户端

由于Flume客户端独立于集群客户端文件，所以需要单独安装。

参考《Flume数据采集实战》实验手册，在fihosts-1节点中安装Flume客户端文件，能

在Manager的Flume客户端管理界面查看到状态为“良好”即表示Flume客户端安装成功。

实验文件与数据表准备

步骤1准备本地日志文件路径

注：本实验使用数据表的数据来代替日志数据

在fihosts-1创建Flume的SpoolDirSource的spoolDir路径，用于监控

采集日志