Hive基础操作重点.docxVIP

Hive 基础（2）：库、表、字段、交互式查询的基本操作 目录[-] ? 1、命令行操作 ? 2、表操作 ? 3、列操作 ? 4、查看变量 ? 5、一个完整的建库、表例子 ? 6、常用语句示例 ? 7、Refer： 1、命令行操作 （1）打印查询头，需要显示设置： set hive.cli.print.header=true;?（2）加--，其后的都被认为是注释，但 CLI 不解析注释。带有注释的文件只能通过这种方式执行：?hive -f script_name?（3）-e后跟带引号的hive指令或者查询，-S去掉多余的输出：?hive -S -e select * FROM mytable LIMIT 3 /tmp/myquery?（4）遍历所有分区的查询将产生一个巨大的MapReduce作业，如果你的数据集和目录非常多，?因此建议你使用strict模型，也就是你存在分区时，必须指定where语句? hive set hive.mapred.mode=strict; （5）显示当前使用数据库set hive.cli.print.current.db=true; （6）设置 Hive Job 优先级 set mapred.job.priority=VERY_HIGH | HIGH | NORMAL | LOW | VERY_LOW (VERY_LOW=1,LOW=2500,NORMAL=5000,HIGH=7500,VERY_HIGH=10000)set mapred.job.map.capacity=M设置同时最多运行M个map任务set mapred.job.reduce.capacity=N设置同时最多运行N个reduce任务（7）Hive 中的Mapper个数的是由以下几个参数确定的：mapred.min.split.size ，mapred.max.split.size ，dfs.block.sizesplitSize = Math.max(minSize, Math.min(maxSize, blockSize));map个数还与inputfilles的个数有关，如果有2个输入文件，即使总大小小于blocksize,也会产生2个mapmapred.reduce.tasks用来设置reduce个数。 2、表操作 （1）查看某个表所有分区?SHOW PARTITIONS ext_trackflow?查询具体某个分区?SHOW PARTITIONS ext_trackflow PARTITION(statDate;?（2）查看格式化的完整表结构?desc formatted ext_trackflow;?DESCRIBE EXTENDED ext_trackflow;?（3）删除分区：分区的元数据和数据将被一并删除，但是对于扩展表则只删除元数据?ALTER TABLE ext_trackflow DROP PARTITION (statDate;?（4）查询是外部表还是内部表?DESCRIBE EXTENDED tablename?（5）复制表结构?CREATE EXTERNAL TABLE IF NOT EXISTS mydb.employees3??LIKE mydb.employees??LOCATION /path/to/data;?Note：如果你忽略关键字EXTERNAL，那么将依据 employees 是外部还是内部，如果加了那么一定是EXTERNAL,并要LOCATION?（6）为内部表某个分区导入数据，Hive将建立目录并拷贝数据到分区当中?LOAD DATA LOCAL INPATH ${env:HOME}/california-employees?INTO TABLE employees?PARTITION (country = US, state = CA);?（7）为外部表某个分区添加数据?ALTER TABLE log_messages ADD ?IF NOT EXISTS PARTITION(year = 2012, month = 1, day = 2)?LOCATION hdfs://master_server/data/log_messages/2012/01/02;?Note：Hive并不关心分区，目录是否存在，是否有数据，这会导致没有查询结果?（8）修改表：在任何时候你都可以修改表，但是你仅仅修改的是表的元数据，都实际数据不会造成任何影响?例如更改分区指定位置，这个命令不会删除旧的数据?ALTER TABLE log_messages PARTIT