hive常用函数参考手册.docxVIP

函数分类HIVE CLI命令显示当前会话有多少函数可用?SHOW FUNCTIONS;显示函数的描述信息?DESC FUNCTION concat;显示函数的扩展描述信息?DESC FUNCTION EXTENDED concat;简单函数函数的计算粒度为单条记录。?关系运算?数学运算?逻辑运算?数值计算?类型转换?日期函数?条件函数?字符串函数?统计函数聚合函数函数处理的数据粒度为多条记录。?sum()—求和?count()—求数据量?avg()—求平均直?distinct—求不同值数?min—求最小值?max—求最人值集合函数复合类型构建?复杂类型访问?复杂类型长度特殊函数窗口函数应用场景?用于分区排序?动态Group By?Top N?累计计算?层次查询Windowing functionsleadlagFIRST_VALUELAST_VALUE分析函数Analytics functionsRANKROW_NUMBERDENSE_RANKCUME_DISTPERCENT_RANKNTILE混合函数java_method(class,method [,arg1 [,arg2])reflect(class,method [,arg1 [,arg2..]])hash(a1 [,a2...])UDTFlateralView: LATERAL VIEW udtf(expression) tableAlias AS columnAlias (‘,‘ columnAlias)* fromClause: FROM baseTable (lateralView)* ateral view用于和split, explode等UDTF一起使用，它能够将一行数据拆成多行数据，在此基础上可以对拆分后的数据进行聚合。lateral view首先为原始表的每行调用UDTF，UTDF会把一行拆分成一或者多行，lateral view再把结果组合，产生一个支持别名表的虚拟表。常用函数Demo：create table employee(id string,money double,type string)row format delimited fields terminated by ‘\t‘ lines terminated by ‘\n‘ stored as textfile;load data local inpath ‘/liguodong/hive/data‘ into table employee;select * from employee;优先级依次为NOT AND ORselect id,money from employee where (id=‘1001‘ or id=‘1002‘) and money=‘100‘;cast类型转换select cast(1.5 as int);if判断if(con,‘‘,‘‘);hive (default) select if(21,‘YES‘,‘NO‘);YEScase when con then ‘‘ when con then ‘‘ else ‘‘ end (‘‘里面类型要一样)select case when id=‘1001‘ then ‘v1001‘ when id=‘1002‘ then ‘v1002‘ else ‘v1003‘ end from employee;get_json_objectget_json_object(json 解析函数，用来处理json，必须是json格式)select get_json_object(‘{name:jack,age:20}‘,‘$.name‘);URL解析函数parse_url(string urlString, string partToExtract [, string keyToExtract])select parse_url(‘/path1/p.php?k1=v1k2=v2#Ref1‘, ‘HOST‘) fromemployee limit 1;字符串连接函数： concat?语法: concat(string A, string B…)?返回值: string?说明：返回输入字符串连接后的结果，支持任意个输入字符串?举例：hive select concat(‘abc‘,‘def’,‘gh‘) from lxw_dual;abcdefgh带分隔符字符串连接函数： concat_ws?语法: concat_ws(string SEP, string A, string B…)?返回值: string?说明：返回输入字符串连接后的结果， SEP 表示各个字符串间的分隔符concat_ws(string SEP, arraystri