大数据技术导论 第3版（项目化教程） 程显毅 教案 11--16数据清洗变换与MapReduce实践---大数据的挑战、安全与区块链创新.docx

教案11：数据清洗变换与MapReduce实践

一、基本信息

-授课内容：6.3数据清洗、6.4数据变换、项目实施（任务6.1-6.2）

-授课学时：2学时（90分钟）

-授课对象：大数据技术/软件技术专业（高职/本科）

-授课类型：工具实操+编程实践课

二、教学目标

维度

目标描述

知识目标

1.掌握数据清洗三大任务：缺失值处理（删除/填充/保留）、异常值检测（统计/模型/聚类/邻近度）、重复值删除

2.掌握数据变换核心方法：规范化（中心化/标准化/归一化）、透视表、列联表、特征编码（one-hot/哑变量/标签）

3.掌握MapReduce词频统计的Linux+HDF