- 1、本文档共10页,可阅读全部内容。
- 2、原创力文档(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
- 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
- 5、该文档为VIP文档,如果想要下载,成为VIP会员后,下载免费。
- 6、成为VIP后,下载本文档将扣除1次下载权益。下载后,不支持退款、换文档。如有疑问请联系我们。
- 7、成为VIP后,您将拥有八大权益,权益包括:VIP文档下载权益、阅读免打扰、文档格式转换、高级专利检索、专属身份标志、高级客服、多端互通、版权登记。
- 8、VIP文档为合作方或网友上传,每下载1次, 网站将根据用户上传文档的质量评分、类型等,对文档贡献者给予高额补贴、流量扶持。如果你也想贡献VIP文档。上传文档
《Hive编程技术与应用》课程实验指导书
目录
实验一:Hive安装与使用
实验二:基于Hive的某平台电影数据分析I
实验三:基于Hive的某平台电影数据分析II
实验四:基于Hive的某电商消费TopN
实验五:UDF函数对数据进行清洗
1
实验一Hive安装与使用
一、实验目的
1、能够使用基于Hadoop集群进行Hive的安装与使用;
二、实验原
Hive本身是建立在Hadoop体系结构上的数据仓库基础构架,可以将结构化的数据文
件映射为一张数据库表,并提供完整的ql语句,把ql语句转化成mapreduce程序提交给
hadoop集群完成相关任务。它提供了一系列的工具,可以用来进行数据提取转化加载
(ETL),这是一种可以存储、查询和分析存储在Hadoop中的大规模数据处理的机制。
在了解Hive基本概念、运行原理、运行架构之后,本次任务通过安装使用Hive,帮助
大家更深层次的理解Hive的运行过程,为后续Hive操作奠定基础。
三、实验设备
一台PC机。
四、实验内容
1)上传软件至/usr/local目录,解压并修改名称。具体实现命令如下:
tar-zxvfhive-0.13.1-cdh5.3.6.tar.gz-C/usr/local
#解压后因为文件名较长,可以修改安装目录,命令如下:
mvhive-0.13.1-cdh5.3.6hive
补充:能够进入hive目录并查看目录下的文件即为成功。
2)配置Hive环境变量。具体实现命令如下:
#修改.bashrc文件
vi~/.bashrc
#.bashrc文件内容
exportHIVE_HOME=/root/bigdata/hive
exportPATH=$PATH:$HIVE_HOME/bin
source~/.bashrc
补充:查看.bashrc文件为修改后的文件即为成功。
3)安装mysql并启动
4)将mysqlconnector拷贝到hive的lib包中。具体实现命令如下:
cp/usr/share/java/mysql-connector-java-5.1.17.jar
/usr/local/hive/lib
补充:进入hive的lib目录下,查看是否有mysql-connector-java-5.1.17.jar。
5)在mysql上创建Hive元数据库,创建hive账号,并进行授权。具体实现命令如下:
#进入MySQL
mysql-uroot
#创建hive元数据库
2
createdatabaseifnotexistshive_metadata;
#授权
grantallprivilegesonhive_metadata.*tohive@%identifiedby
123456;
grantallprivilegesonhive_metadata.*tohive@localhostidentified
by123456;
grantallprivilegesonhive_metadata.*tohive@iflytek01identified
by123456;
#刷新
flushprivileges;
usehive_metadata;
#退出数据库
exit;
查询数据库,效果如下:
6)进入MySQL并测试。具体命令如下:
#进入MySQL
mysql-uhive–p123456
showdatabases;
#在test中创建表
#若数据库中没有test数据库,则创建数据库
createdatabasetest;
usetest;
createtablestu(idint,namevarchar(25),ageint);
效果如下:
3
7)进入/usr/local/hive/conf,创建hive-site.xm
您可能关注的文档
- G40101-除法中的未知数.pdf
- HBase分布式存储系统应用教案.pdf
- HBase分布式存储系统应用教学大纲.pdf
- HBase分布式存储系统应用实验指导书.pdf
- Hive编程技术与应用第1章.pptx
- Hive编程技术与应用第2章.pptx
- Hive编程技术与应用第3章.pptx
- Hive编程技术与应用第4章.pptx
- Hive编程技术与应用第5章.pptx
- Hive编程技术与应用第6章.pptx
- 2022年关于全民阅读调查报告5篇 .pdf
- 2020届高三高考化学一轮复习对点测试《分子空间结构与物质性质》含答案.pdf
- 2020-2021部编人教版语文3三年级下册(全册)测试卷(附答案) .pdf
- 2021外联部竞选演讲稿范文(真题5篇) .pdf
- 2023-2024国家电网招聘之环化材料类知识点总结全面整理 .pdf
- 2022年6月浙江省普通高校招生选考地理试卷和答案解析 .pdf
- (最新)小学部编版一年级上册道德与法治第二单元《校园生活真快乐》说.pdf
- 2014工程硕士招生单位及工程领域.pdf
- 2022年广东省东莞市小升初语文模拟试卷及答案解析 .pdf
- (肺病科)肺胀(慢性阻塞性肺病)中医优势病种诊疗方案 .pdf
文档评论(0)