网站大量收购闲置独家精品文档,联系QQ:2885784924

Hive编程技术与应用第3章.pptxVIP

  1. 1、本文档共45页,可阅读全部内容。
  2. 2、原创力文档(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
  3. 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载
  4. 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
  5. 5、该文档为VIP文档,如果想要下载,成为VIP会员后,下载免费。
  6. 6、成为VIP后,下载本文档将扣除1次下载权益。下载后,不支持退款、换文档。如有疑问请联系我们
  7. 7、成为VIP后,您将拥有八大权益,权益包括:VIP文档下载权益、阅读免打扰、文档格式转换、高级专利检索、专属身份标志、高级客服、多端互通、版权登记。
  8. 8、VIP文档为合作方或网友上传,每下载1次, 网站将根据用户上传文档的质量评分、类型等,对文档贡献者给予高额补贴、流量扶持。如果你也想贡献VIP文档。上传文档
查看更多

智慧交通概述;;第3章HiveQL表操作;3.1内部表

(Hive的内部表与数据库中的表在概念上是类似的,每一个内部表在Hive中都有一个相应的目录存储数据,所有的表数据(不包括外部表)都保存在这个目录中。删除表时,元数据与数据都会被删除。例如,一个表hive,它在HDFS中的路径为/hive/warehouse/hive,其中目录/hive/warehouse/是在配置文件hive-site.xml中由${hive.metastore.warehouse.dir}指定的数据仓库的目录。

1.创建内部表,保存在默认的位置

在创建命令中,如果不指定location参数值,此内部表会被保存在配置文件hive-site.xml中的默认位置。本实例中的相关配置如图3-1所示。

图3-1hive表默认保存位置;;第3章HiveQL表操作;第3章HiveQL表操作;;第3章HiveQL表操作;第3章HiveQL表操作;第3章HiveQL表操作;第3章HiveQL表操作;第3章HiveQL表操作;第3章HiveQL表操作;第3章HiveQL表操作;第3章HiveQL表操作;第3章HiveQL表操作;第3章HiveQL表操作;;第3章HiveQL表操作;命令执行后,Hive会在HDFS中的Hive表默认目录下创建一个logs子目录,在logs目录下创建路径dt=2018-02-07/country=China,将数据文件复制到此路径下,如图3-31所示。;图3-33查询分区表的分区结构;3.3.1静态分区

这里我们先给出一个实例,首先编辑两个数据文件,分别是/root/test3.txt和/root/test4.txt,它们的内容如下:;;;;;3.3.2动态分区

使用动态分区需要设置hive.exec.dynamic.partition参数值为true。可以设置部分列为动态分区列,例如partition(academy=computer,class);也可以设置所有列为动态分区列,例如partition(academy,class)。设置所有列为动态分区列时,需要设置hive.exec.dynamic.partition.mode=nonstrict。

需要注意的是,不允许主分区为动态分区列,而副分区为静态分区列。例如,partition(academy,class=034)是不允许的。

建表语句如下:

hivecreatetablestudent(idINT,nameSTRING)

partitionedby(academySTRING,classSTRING)

rowformatdelimitedfieldsterminatedby,;

语句输出如下:

OK

Timetaken:0.393seconds

设置参数如下:

hivesethive.exec.dynamic.partition.mode=nonstrict;

hivesethive.exec.dynamic.partition=true;

导入数据:;;;;;;;;第3章HiveQL表操作;;;;;;;;第3章HiveQL表操作;

文档评论(0)

xiadaofeike + 关注
实名认证
文档贡献者

该用户很懒,什么也没介绍

版权声明书
用户编号:8036067046000055

1亿VIP精品文档

相关文档