数据仓库Hive应用实战 教案97-100课时：HIVE自定义URF函数.doc

湖南汽车工程职业学院

教师授课教案

第13周第1-4课时累计100课时

课程名称

数据仓库HIVE应用

授课课题

Hive自定义URF函数

授课专业班级

大数据2101班、2102班、2103班

教学目标

完成认识UDF特性、应用UDF函数、UDTF函数等学习目标，能应用自定义函数解决实际问题。

教学要点

教学重点

?UDF特性、应用UDF函数

教学难点

?应用自定义函数解决实际问题

课型

一体化授课

教法与学法（教具）

示范演示法、任务驱动教学法、分组合作教学法

课后作业

完成超星平台作业、看视频熟练操作

教学后记

（教师课后填写）

1、结合项目要多练；

2、鼓励学生之间要相互请教、相互帮忙，合作解决问题，有利于他们能力的增长；

3、掌握思维导图对于知识体系构建的重要性。

授课教师

王海霞、黄史记

【课前复习】

常见的内置函数有哪些，各有什么用？

【作业点评】

展示智课堂学生作业完成情况，并做点评。

【学习目标】

以“学生信息系统”项目为实操载体，完成认识UDF特性、应用UDF函数等学习目标，能应用自定义函数解决实际问题。

【课程导入】

Hive自定义函数分为自定义UDF函数、自定义UDAF和自定义UDTF。UDF是最常用的自定义函数，它的特点是一进一出，即输入单一参数（行/列）输出也是单一参数（行/列），例如UPPER()函数、SUBSTRING()函数等。接下来我们学习自定义UDF函数的定义、特点和使用方式。

【新课讲授】

一、UDF的定义

用户自定义函数是用户自定义的能够扩展HiveQL功能的函数。Hive把这类函数叫做：UDF（UserDefinedFunction），只需要将UDF加入到用户会话中（交互式的或者通过脚本执行的），其使用方式就与内置函数一致。

标准UDF的特点是一进一出，即输入单一参数（行/列）输出也是单一参数（行/列），UDF需要继承org.apache.hadoop.hive.ql.UDF类。

二、UDF的特点

Hive提供了以下两种不同的接口编写UDF程序：

第一种，支持基础类型的UDF接口，apache.hadoop.hive.ql.exec.UDF，处理并返回基本数据类型，int、string、boolean、double等；

第二种，支持复杂类型的GenericUDF接口，apache.hadoop.hive.ql.udf.generic.GenericUDF，可处理并返回复杂数据类型，如Map、List、Array等，同时支持嵌套；

三、UDF的使用方式

UDF包含两种使用方式，方式一，临时函数仅当前会话中有效，退出后重新连接即无法使用；方式二，永久函数注册UDF信息到MetaStore元数据中，可永久使用。UDF使用需要将编写的UDF类编译为jar包添加到Hive中，根据需要创建临时函数或永久函数。

【讲练结合】

本任务实施以“学生信息系统”项目为实操载体，依次完成新建maven项目环境、编写UDF函数Java代码、部署UDF函数到Hive环境、应用UDF函数等操作，最终完成编写Java程序实现自定义函数UDF，用于比较studentdb数据库中student表中学生的多门课程成绩，得到分数最高的课程成绩，如果最高课程成绩大于90分，输出“优秀”，成绩大于60分小于90分，输出“中等”，成绩小于60分，输出“不合格”。

新建maven项目环境

1、新建maven项目。打开IntelliJIDEA开发工具，新建Maven项目，配置项目使用的JDK，点击“Next”按钮。

图6-SEQ图6-\*ARABIC38新建maven项目

在弹出的对话框中，填写“Name”项目名称和“Location”项目存放位置，填写完成后点击“Finish”按钮。

图6-SEQ图6-\*ARABIC39填写项目名称

2、添加项目依赖。项目中的XML文件pom.xml用于管理Maven项目依赖的配置文件，本项目需要在配置文件pom.xml中添加用于开发Hive程序的依赖。

dependencies

!--Hive依赖--

dependency

groupIdorg.apache.hive/groupId

artifactIdhive-exec/artifactId

version2.3.4/version

/dependency

/dependencies

【讲练结合】

编写UDF函数的Java代码

新建代码包。选中并右击项目hiveFunction中的“java”目录，在弹出的菜单栏中依次选择“New→Package”，从而新