Hive编程技术与应用实验指导书.pdfVIP

《Hive编程技术与应用》课程实验指导书

目录

实验一：Hive安装与使用

实验二：基于Hive的某平台电影数据分析I

实验三：基于Hive的某平台电影数据分析II

实验四：基于Hive的某电商消费TopN

实验五：UDF函数对数据进行清洗

1

实验一Hive安装与使用

一、实验目的

1、能够使用基于Hadoop集群进行Hive的安装与使用；

二、实验原

Hive本身是建立在Hadoop体系结构上的数据仓库基础构架，可以将结构化的数据文

件映射为一张数据库表，并提供完整的ql语句，把ql语句转化成mapreduce程序提交给

hadoop集群完成相关任务。它提供了一系列的工具，可以用来进行数据提取转化加载

（ETL），这是一种可以存储、查询和分析存储在Hadoop中的大规模数据处理的机制。

在了解Hive基本概念、运行原理、运行架构之后，本次任务通过安装使用Hive，帮助

大家更深层次的理解Hive的运行过程，为后续Hive操作奠定基础。

三、实验设备

一台PC机。

四、实验内容

1）上传软件至/usr/local目录，解压并修改名称。具体实现命令如下：

tar-zxvfhive-0.13.1-cdh5.3.6.tar.gz-C/usr/local

#解压后因为文件名较长，可以修改安装目录，命令如下：

mvhive-0.13.1-cdh5.3.6hive

补充：能够进入hive目录并查看目录下的文件即为成功。

2）配置Hive环境变量。具体实现命令如下：

#修改.bashrc文件

vi~/.bashrc

#.bashrc文件内容

exportHIVE_HOME=/root/bigdata/hive

exportPATH=$PATH:$HIVE_HOME/bin

source~/.bashrc

补充：查看.bashrc文件为修改后的文件即为成功。

3)安装mysql并启动

4）将mysqlconnector拷贝到hive的lib包中。具体实现命令如下：

cp/usr/share/java/mysql-connector-java-5.1.17.jar

/usr/local/hive/lib

补充：进入hive的lib目录下，查看是否有mysql-connector-java-5.1.17.jar。

5）在mysql上创建Hive元数据库，创建hive账号，并进行授权。具体实现命令如下：

#进入MySQL

mysql-uroot

#创建hive元数据库

2

createdatabaseifnotexistshive_metadata;

#授权

grantallprivilegesonhive_metadata.*tohive@%identifiedby

123456;

grantallprivilegesonhive_metadata.*tohive@localhostidentified

by123456;

grantallprivilegesonhive_metadata.*tohive@iflytek01identified

by123456;

#刷新

flushprivileges;

usehive_metadata;

#退出数据库

exit;

查询数据库，效果如下：

6）进入MySQL并测试。具体命令如下：

#进入MySQL

mysql-uhive–p123456

showdatabases;

#在test中创建表

#若数据库中没有test数据库，则创建数据库

createdatabasetest;

usetest;

createtablestu(idint,namevarchar(25),ageint);

效果如下：

3

7）进入/usr/local/hive/conf，创建hive-site.xm