大数据采集与分析技术-教案 -第4章 数据的清洗和转换.docx

《大数据采集与分析技术》配套教学教案

第4章

课时内容

数据的清洗和转换

授课时间

课时

4

教学目标

掌握HiveSELECT语法、逻辑运算符、字符串与条件函数、公共表表达式和UNION合并操作。

能够依据业务规则清洗、去重、规范和合并事故、驾驶员、车辆与天气数据，形成开发层数据表。

培养求真务实、严谨细致、标准化作业、数据质量负责和辩证分析的职业素养。

教学重点

Hive查询语句与内置函数；重复、缺失和不规范数据处理；多表数据转换及UNION合并。

教学难点

将业务清洗规则准确转化为HiveQL；字段类型和格式统一；多源数据合并后的完整性与一致性验证。

教学设计

教学思路：以交通主题