《数据清洗》核心课程标准.docxVIP

《数据清洗》核心课程标准 课程编码 0408011 课程类别 专业核心课 计划学时 68 课程类型 B类 适用专业 大数据技术与应用 课程性质 必修 开课学期 第四学期 学分 4 先行课程 大数据导论Python语言云 计算 开课单位 信息工程系 平行课程 大数据系统运维 数据标注工程 考试类型 考试 后继课程 顶岗实习 一、课程性质与定位 本课程是面向信息工程系大数据技术与应用专业学生的核心课程，是培养掌握大数据清洗的一般理论与实际操作应用模式技术的专业实践性课程。 二、课程设计与理念 本课程系统地讲解了数据清洗理论和实际应用，共分为8章：第1章主要介绍数据清洗的概念、任务和流程，数据标准化概念及数据仓库技术等；第2章主要介绍Windows和类UNIX操作系统下的数据常规格式、数据编码及数据类型转换等；第3章介绍ETL概念、数据清洗的技术路线、ETL工具及ETL子系统等；第4章介绍了Excel、Kettle、Open Refine、Data Wrangler和Ha Wk的安装及使用等；第5章介绍Kettle下文本文件抽取、Web数据抽取、数据库数据抽取及增量数据抽取等；第6章介绍数据清洗步骤、数据检验和数据错误处理，数据质量评估及数据加载；第7章介绍网页结构，利用网络爬虫技术进行数据采集，利用JavaScript技术进行行为日志数据采集等；第8章介绍RDBMS的数据清洗方法和数据脱敏处理技术等。 三、课程目标 （一）总体目标 培养德、智、体、美全面发展的，能够较快适应生产、建设、管理、服务等一线岗位需要的，面向电信、零售、银行、金融、政府等部门的掌握大数据存储、清洗、管理、建模和分析的基本技能，具有较高综合素质与良好职业素养的发展型、复合型、创新型技术技能人才。 （二）技能与知识目标 学习掌握数据清洗的概念、任务和流程，数据标准化概念及数据仓库技术；了解Windows和类UNIX操作系统下的数据常规格式、数据编码及数据类型转换等；掌握ETL概念、数据清洗的技术路线、ETL工具及ETL子系统的使用，Excel、Kettle、Open Refine、Data Wrangler和Ha Wk的安装及使用，Kettle下文本文件抽取、Web数据抽取、数据库数据抽取及增量数据抽取，数据清洗步骤、数据检验和数据错误处理，数据质量评估及数据加载，网页结构，利用网络爬虫技术进行数据采集，利用JavaScript技术进行行为日志数据采集，RDBMS的数据清洗方法和数据脱敏处理技术等。 （三）能力与素质目标 具备大数据应用理论基础知识，了解大数据技术框架和生态系统，熟悉Hadoop技术框架操作，具备程序设计能力，掌握数据清洗操作，熟悉ETL工具的使用，掌握使用ETL工具进行定制化清洗技术，能够进行常规的统计分析、报表分析，能够提出问题，并能制定详细实施计划。 四、课程教学内容及学时分配 序号 项目名称 学习任务 学习内容 学时 1 数据清洗概述 数据清洗简介数据标准化数据仓库简介 数据科学过程、定义、任务、 流程、环境、实例说明数据标准化概念、常用方法数据仓库定义、组成要素、分类、相关技术、常用工具简介 上机练习 8 2 数据格式与编码 文件文本格式数据编码数据转换 常见文本格式 xls及xlsx文件格式JSON文本格式 HTML和XML文本格式数据类型、类型间转换字符编码 空值和乱码 电子表格转换RDBMS数据转换 8 3 数据清洗基本技术方法 ETL入门技术路线ETL工具ETL子系统 ETL解决方案、基本构成、 技术选型文本清洗路线RDBMS清洗路线Web内容清洗路线 ETL功能、开源ETL工具抽取、清洗和更正数据、数据发布、管理ETL 10 4 数据清洗常用工具及基本操作 MicrosoftExcel数据 清洗基本操作Kettle简介及基本操作 Open Refine简介及基本操作 Data Wrangler简介及基本操作 Ha Wk简介及基本操作上机练习与实训 Excel数据清洗概述 Kettle软件概述、基本操作、实例操作 Open Refine软件概述、基本操作、数据清洗实例操作 Data Wrangler软件概述、 基本操作、数据清洗实例操作 Ha Wk软件概述、基本操作、数据清洗实例操作 8 5 数据抽取 文本文件抽取Web数据抽取数据库数据抽取上机练习与实训 制表符文本抽取 CSV文件抽取HTML文件抽取JSON数据抽取XML数据抽取数据导入导出ETL工具抽取 SQL到NoSQL抽取 10 6 数据转换与加载 数据清洗转换数据质量评估数据加载上机练习与实训 数据清洗 数据检验错误处理数据评估指标审计数据 数据加载的概念 数据加载的方式批量数据加载异常处理 8 7 采集Web数据实例 网页结构网络爬虫行为日志采集上机练习与实训 D