大数据技术基础及应用实验手册6.Hive数据仓库实战.pdfVIP

6Hive数据仓库实战

6.1实验背景

Hive是重要的数据仓库工具，在数据挖掘、数据汇总、统计分析等领域有重要作

用。特别的在电信业务中，Hive扮演相当重要的角色，可以利用Hive统计用户

的流量、话费、资费等信息，也可挖掘出用户的消费模型以帮助运营商更好的规

划套餐内容。

6.2实验前提

实验环境创建成功后，请等待1-2分钟，后台在执行start-oms.sh脚本：

1.执行sh${BIGDATA_HOME}/om-server/om/sbin/status-oms.sh命令查看OMS

的状态，显示信息表示主备OMS服务启动正常再执行下一步。

2.在windows-client打开GoogleChrome浏览器登录FusionInsightManager地

址（00:8080/web）。

3.登录后，单击“服务管理”，选择“更多操作启动

FusionInsightManager

集群”。

4.在弹出的提示框中单击“确定”，开始启动集群。界面提示“操作成功。”，

单击“完成”，集群成功启动。

5.使用SecureCRT工具登录到fihsots-1节点上，接下来进行环境变量设置与用

户认证。

cd/opt/hadoopclient/切换到客户端安装目录。

sourcebigdata_env配置环境变量。

kinituser01进行用户认证，输入用户密码

客户端文件安装于fihosts-1服务器的/opt/hadoopclient目录中，认证用

户user01，密码Huawei!@34

6.3实验目的

掌握Hive的常用操作。

学会在Hue上使用和运行HQL。

6.4实验任务

6.4.1Hive常用函数（可选）

步骤1进入Hive客户端beeline。

/opt/hadoopClient/Hive/Beeline/bin/beeline

...

Connectedto:ApacheHive(version1.3.0)

Driver:HiveJDBC(version1.3.0)

Transactionisolation:TRANSACTION_REPEATABLE_READ

Beelineversion1.3.0byApacheHive

0:jdbc:hive2://1:21066/

注意：hive中的所有语句都需要以分号结尾，否则不能执行。

参考：适用如下命令，可以过滤INFO日志的输出：

beeline--hiveconfhive.server2.logging.operation.level=NONE

步骤2字符串函数length(stringA)。

字符串长度函数：length

语法:length(stringA)

返回值:int

说明：返回字符串的长度

A

hiveselectlength(‘abcedfg’);

7

步骤3字符串反转函数reverse。

语法:reverse(stringA)

返回值:string

说明：返回字符串的反转结果