大数据技术基础及应用实验手册集群综合实验1.pdfVIP

集群综合实验

实验背景

大数据业务中，通常需要将多种组件构建成一个业务系统，以满足上层业务需要。

现在某企业需要构建一个构建一个大数据分析和实时查询平台，需要用到Loader、

MySQL、Hive以及Hbase四个主要组件。主要负责数据的迁移、导入、查询、处

理四个不同的功能，其中首先由Loader定时将Mysql数据库数据迁移到Hive中，

由于Hive数据存储在HDFS中，所以采用Loader将HDFS中的数据导入到HBase

中。利用HBase进行实时数据查询，利用Hive的大数据处理能力，分析相关结

果。

实验目的

综合运用大数据组件进行数据的转换和实时查询。

实验前提

实验环境创建成功后，请等待1-2分钟，后台在执行start-oms.sh脚本：

1.执行sh${BIGDATA_HOME}/om-server/om/sbin/status-oms.sh命令查看OMS

的状态，显示信息表示主备OMS服务启动正常再执行下一步。

2.在windows-client打开GoogleChrome浏览器登录FusionInsightManager

地址（00:8080/web）。

3.用户名admin，密码Huawei!@34（如原密码过期，则自行修改密码）

4.登录FusionInsightManager后，单击“服务管理”，选择“更多操作启

动集群”。

5.在弹出的提示框中单击“确定”，开始启动集群。界面提示“操作成功。”，

单击“完成”，集群成功启动。

6.使用SecureCRT工具登录到fihsots-1节点上，接下来进行环境变量设置与

用户认证。

cd/opt/hadoopclient/切换到客户端安装目录。

sourcebigdata_env配置环境变量。

kinituser01进行用户认证，输入用户密码

客户端文件安装于fihosts-1服务器的/opt/hadoopclient目录中，认证用

户user01，密码Huawei!@34

实验任务

Mysql+Loader+Hive+HBase离线数据采集分析与实时查询

Mysql数据准备

步骤1安装MySQL

参照《7.Loader数据导入导出实战》实验手册7.4.3实验任务在fihosts-1上安装

mysql

步骤2登录MySQL服务器。

使用SecureCRT登录到fihosts-1服务器上，执行以下命令：

mysql-uroot-p123456

WelcometotheMySQLmonitor.Commandsendwith;or\g.

YourMySQLconnectionidis135

Serverversion:5.5.48MySQLCommunityServer(GPL)

Typehelp;or\hforhelp.Type\ctoclearthecurrentinputstatement.

步骤3新建数据库loadertest。

mysqlcreatedatabaseloadertest;

mysqluseloadertest;

步骤4新建表socker，并命名time为主键。

mysqlDROPTABLEIFEXISTS`socker`;

mysqlCREATETABLE`socker`(

`time`varchar(50)DEFAULTNULL,

`open`floatDEFAULTNULL,