Hive大数据存储与处理 教案 第6章 广电用户收视行为数据查询优化 教案.docx

第6章广电用户收视行为数据查询优化

教案

课程名称：Hive大数据存储与处理

课程类别：必修

适用专业：大数据技术类相关专业

总学时：64学时（其中理论36学时，实验28学时）

总学分：4.0学分

本章学时：10学时

材料清单

《Hive大数据存储与处理》教材。

配套PPT。

引导性提问。

探究性问题。

拓展性问题。

教学目标与基本要求

教学目标

本章先介绍了Hive视图的创建、查看与删除方法，其次介绍了如何配置Fetch抓取、设置map和reduce任务数以及配置并行执行，然后介绍了使用子查询的方法，最后介绍了优化配置GROUPBY语句和LIMIT语句。本章通过优化Hive配置与HQL语句，实现广电用户收视行为数据查询优化，帮助读者掌握各种Hive优化方法。

基本要求

掌握Hive查询优化的方法。

掌握Hive视图的使用方法。

了解配置Fetch抓取的方法。

掌握Hive设置map和reduce任务数的方法。

掌握Hive配置并行执行的方法。

掌握子查询的使用方法。

掌握GROUPBY语句的优化配置方法。

掌握LIMIT语句的优化配置方法。

问题

引导性提问

引导性提问需要教师根据教材内容和学生实际水平，提出问题，启发引导学生去解决问题，提问，从而达到理解、掌握知识，发展各种能力和提高思想觉悟的目的。

如何在Hive中创建一个新的视图？

为什么我们需要配置Fetch抓取？它对查询性能有什么影响？

子查询在解决哪些复杂查询场景中特别有效？

探究性问题

探究性问题需要教师深入钻研教材的基础上精心设计，提问的角度或者在引导性提问的基础上，从重点、难点问题切入，进行插入式提问。或者是对引导式提问中尚未涉及但在课文中又是重要的问题加以设问。

在Hive中使用视图是否会引入性能开销？

LIMIT语句在大数据查询中为何需要特殊优化？

Hive的动态分区功能如何帮助优化大规模数据处理？

拓展性问题

拓展性问题需要教师深刻理解教材的意义，学生的学习动态后，根据学生学习层次，提出切实可行的关乎实际的可操作问题。亦可以提供拓展资料供学生研习探讨，完成拓展性问题。

除了GROUPBY和LIMIT之外，还有哪些高级SQL操作可以在Hive中进行优化？

Hive是否还有其他优化配置方法？有哪些？

主要知识点、重点与难点

主要知识点

Hive查询优化的方法。

Hive视图的使用方法。

配置Fetch抓取的方法。

Hive设置map和reduce任务数的方法。

Hive配置并行执行的方法。

子查询的使用方法。

GROUPBY语句的优化配置方法。

LIMIT语句的优化配置方法。

重点

Hive视图的使用方法。

子查询的使用方法。

GROUPBY语句的优化配置方法。

LIMIT语句的优化配置方法。

难点

掌握子查询的使用方法。

教学过程设计

理论教学过程

创建视图。

查看与删除视图。

配置Fetch抓取。

合理设置map和reduce任务数。

配置并行执行。

使用子查询优化查询语句。

优化配置GROUPBY语句。

使用GROUPBY代替COUNT(DISTINCT)去重统计。

优化配置LIMIT语句。

实验教学过程

创建视图。

查看与删除视图。

使用视图统计不同节目的用户观看人数。

配置Fetch抓取。

合理设置map和reduce任务数。

配置并行执行。

优化统计直播频道数。

使用子查询优化查询语句。

优化配置GROUPBY语句。

使用GROUPBY代替COUNT(DISTINCT)去重统计。

优化配置LIMIT语句。

使用子查询统计节目类型为直播的频道Top10。

教材与参考资料

教材

何煌，张良均．Hive大数据存储与处理[M]．北京：人民邮电出版社．2024．

参考资料

[1] 张军，张良均．Hadoop大数据开发基础（第2版）（微课版）[M]．北京：人民邮电出版社．2021．

[2] 王哲，张良均．Hadoop与大数据挖掘（第2版）[M]．北京：机械工业出版社．2022．