Hive进行UDF开发.docx

HYPERLINK /bigdatahappy/article/details/9736117 Hive UDF开发(单个参数) Hive进行UDF开发十分简单，此处所说UDF为Temporary的function，所以需要hive版本在0.4.0以上才可以。 Hive的UDF开发只需要重构UDF类的evaluate函数即可。例： [java]? HYPERLINK /bigdatahappy/article/details/9736117 \o view plain view plain HYPERLINK /bigdatahappy/article/details/9736117 \o copy copy package?com.sohu.hive.udf;?? ?? import?org.apache.hadoop.hive.ql.exec.UDF;?? ?? public?class?Md5?extends?UDF?{?? ????public?String?evaluate(String?str)?{?? ?? ????????try?{?? ?? ????????????return?MD5Util.getMD5Str(str).substring(0,?7);?? ?? ????????}?catch?(Exception?e)?{?? ????????????e.printStackTrace();?? ????????????return?str;?? ?? ????????}?? ?? ????}?? }?? 将该java文件编译成md5.jar [sql]? HYPERLINK /bigdatahappy/article/details/9736117 \o view plain view plain HYPERLINK /bigdatahappy/article/details/9736117 \o copy copy hive?add?jar?md5.jar;?? ?? hive?create?temporary?function?md5as?com.sohu.hive.udf.Md5;?? ?? hive?select?md5(url)?from?focuspvlog?limit?2;?? ?? hive?drop?temporary?function?md5;?? 注： md5为临时的函数，所以每次进入hive都需要add jar以及create temporary操作 UDF只能实现一进一出的操作，如果需要实现多进一出，则需要实现UDAF HYPERLINK /bigdatahappy/article/details/9736225 Hive 里面的 UDTF 目录 HYPERLINK /bigdatahappy/article/details/9736225 \o 系统根据文章中H1到H6标签自动生成文章目录 (?) HYPERLINK /bigdatahappy/article/details/9736225 \o 收起 [-] HYPERLINK /bigdatahappy/article/details/9736225 \l t0 UDF HYPERLINK /bigdatahappy/article/details/9736225 \l t1 UDAF HYPERLINK /bigdatahappy/article/details/9736225 \l t2 UDTF hive 支持 UDF， UDAF， UDTF，这几个让你使用 hive 更加便捷。 UDF udf 就是一个自定义的 function，输入一个或多个参数，返回一个返回值，类似 substr/trim 之类。写起来比较简单，重构 UDF 类的 evaluate 方法就可以了。可以参考 HYPERLINK /2093113/386112 \t _blank /2093113/386112?。 这是一个 urldecode 函数。 import org.apache.hadoop.hive.ql.exec.UDF; import .URLDecoder; public final class urldecode extends UDF { public String evaluate(final String s) { if (s == null) { return null; } return getString(s); } public static String getString(String s) { String a;