网站大量收购独家精品文档,联系QQ:2885784924

Hive编程技术与应用实验指导书.pdfVIP

  1. 1、本文档共10页,可阅读全部内容。
  2. 2、原创力文档(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
  3. 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载
  4. 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
  5. 5、该文档为VIP文档,如果想要下载,成为VIP会员后,下载免费。
  6. 6、成为VIP后,下载本文档将扣除1次下载权益。下载后,不支持退款、换文档。如有疑问请联系我们
  7. 7、成为VIP后,您将拥有八大权益,权益包括:VIP文档下载权益、阅读免打扰、文档格式转换、高级专利检索、专属身份标志、高级客服、多端互通、版权登记。
  8. 8、VIP文档为合作方或网友上传,每下载1次, 网站将根据用户上传文档的质量评分、类型等,对文档贡献者给予高额补贴、流量扶持。如果你也想贡献VIP文档。上传文档
查看更多

《Hive编程技术与应用》课程实验指导书

目录

实验一:Hive安装与使用

实验二:基于Hive的某平台电影数据分析I

实验三:基于Hive的某平台电影数据分析II

实验四:基于Hive的某电商消费TopN

实验五:UDF函数对数据进行清洗

1

实验一Hive安装与使用

一、实验目的

1、能够使用基于Hadoop集群进行Hive的安装与使用;

二、实验原

Hive本身是建立在Hadoop体系结构上的数据仓库基础构架,可以将结构化的数据文

件映射为一张数据库表,并提供完整的ql语句,把ql语句转化成mapreduce程序提交给

hadoop集群完成相关任务。它提供了一系列的工具,可以用来进行数据提取转化加载

(ETL),这是一种可以存储、查询和分析存储在Hadoop中的大规模数据处理的机制。

在了解Hive基本概念、运行原理、运行架构之后,本次任务通过安装使用Hive,帮助

大家更深层次的理解Hive的运行过程,为后续Hive操作奠定基础。

三、实验设备

一台PC机。

四、实验内容

1)上传软件至/usr/local目录,解压并修改名称。具体实现命令如下:

tar-zxvfhive-0.13.1-cdh5.3.6.tar.gz-C/usr/local

#解压后因为文件名较长,可以修改安装目录,命令如下:

mvhive-0.13.1-cdh5.3.6hive

补充:能够进入hive目录并查看目录下的文件即为成功。

2)配置Hive环境变量。具体实现命令如下:

#修改.bashrc文件

vi~/.bashrc

#.bashrc文件内容

exportHIVE_HOME=/root/bigdata/hive

exportPATH=$PATH:$HIVE_HOME/bin

source~/.bashrc

补充:查看.bashrc文件为修改后的文件即为成功。

3)安装mysql并启动

4)将mysqlconnector拷贝到hive的lib包中。具体实现命令如下:

cp/usr/share/java/mysql-connector-java-5.1.17.jar

/usr/local/hive/lib

补充:进入hive的lib目录下,查看是否有mysql-connector-java-5.1.17.jar。

5)在mysql上创建Hive元数据库,创建hive账号,并进行授权。具体实现命令如下:

#进入MySQL

mysql-uroot

#创建hive元数据库

2

createdatabaseifnotexistshive_metadata;

#授权

grantallprivilegesonhive_metadata.*tohive@%identifiedby

123456;

grantallprivilegesonhive_metadata.*tohive@localhostidentified

by123456;

grantallprivilegesonhive_metadata.*tohive@iflytek01identified

by123456;

#刷新

flushprivileges;

usehive_metadata;

#退出数据库

exit;

查询数据库,效果如下:

6)进入MySQL并测试。具体命令如下:

#进入MySQL

mysql-uhive–p123456

showdatabases;

#在test中创建表

#若数据库中没有test数据库,则创建数据库

createdatabasetest;

usetest;

createtablestu(idint,namevarchar(25),ageint);

效果如下:

3

7)进入/usr/local/hive/conf,创建hive-site.xm

文档评论(0)

xiadaofeike + 关注
实名认证
文档贡献者

该用户很懒,什么也没介绍

版权声明书
用户编号:8036067046000055

1亿VIP精品文档

相关文档