Hive开发规范及要点.docxVIP

Hive开发规范及编写要点 HQL语言操作规范 1.hive模糊搜索表 show tables like *name*; show table table_name; 2.查看表结构信息 desc table_name; 3.查看分区信息 show partitions table_name; 4.根据分区查询数据 select table_coulmn from table_name where partition_name = 2014-02-25; 5.查看hdfs文件信息 hadoop fs -ls /user/hive/warehouse/table_name; 6.从文件加载数据进表(overwrite表示覆盖加载) 7.加载本地文件 load data local inpath /xxx/xxx/dim_cube.txt overwrite into table dim.dim_cube_config; 8.从查询语句给table插入数据 insert overwrite table table_name partition(dt) select * from table_name where dt=2014-01-22 limit 100; 9.导出数据到本地系统 insert overwrite local directory /tmp/text select a.* from table_name a order by 1; hive -e select day_id,user,count from user_table where day_id in (2014-03-06,2014-03-07,2014-03-08,2014-03-09,2014-03-10); /home/test/test.dat; 10.自定义udf函数 hive中执行命令 add jar /home/hive/jar/my_udf.jar; create temporary function sys_date as com.taobao.hive.udf.UDFDateSysdate; 11.设置Hive执行参数；如： set hive.cli.print.header=true; // 打印列名 set hive.cli.print.row.to.vertical=true; // 开启行转列功能, 前提必须开启打印列名功能 set hive.cli.print.row.to.vertical.num=1; // 设置每行显示的列数 12.查看表文件大小,下载文件到某个目录,显示多少行到某个文件 hadoop fs -du hdfs://hadoop:54310/user/warehouse/user_log; 13.杀死某个任务 在hive shell中执行 hadoop job -kill job_201403041453_58315(作业ID) 12.删除分区 alter table table_name drop partition(dt=2014-03-01); 13.添加分区 alter table table_name add partition (dt=2008-08-08, country=us) location /path/to/us/part080808 partition (dt=2008-08-09, country=us); 14.hive命令行操作 hive -e select table_cloum from table 执行一个查询,在终端上显示mapreduce的进度，执行完毕后，最后把查询结果输出到终端上，接着hive进程退出，不会进入交互模式。 hive -S -e select table_cloum from table -S，终端上的输出不会有mapreduce的进度，执行完毕，只会把查询结果输出到终端上。 执行sql文件 hive -f hive_sql.sql 15.插入数据sql insert overwrite table table_name select_user_name from from_user_table; 对多个表进行插入操作： from fromstatte insert overwrite table table_name1 [partiton(partcol1=val1,partclo2=val2)] select statement1 insert overwrite table tablename2 [partiton(partcol1=val1,partclo2=val2)] select statement2 insert的时