专业选修课程《数据采集与预处理》 课程教学大纲.docx

PAGE

PAGE9

《数据采集与预处理》课程教学大纲

一、课程简介

课程中文名

数据采集与预处理

课程英文名

Datacollectionandpreprocessing

双语授课

□是?否

课程代码课程学分

4

总学时数

64（含实践32）

课程类别

□通识教育课程

□公共基础课程

?专业教育课程

□综合实践课程

□教师教育课程

课程性质

□必修

?选修

□其他

课程形态

□线上

?线下

□线上线下混合式

□社会实践

□虚拟仿真实验教学

考核方式

□闭卷□开卷□课程论文?课程作品□汇报展示?报告

?课堂表现□阶段性测试?平时作业□其他（可多选）

开课学院

大数据与智能工程

开课

系(教研室)

数据科学与大数据技术

面向专业

计算机科学与技术

开课学期

第3学期

先修课程

Python程序设计

后续课程

无

选用教材

1.朱晓姝,许桂秋.大数据预处理[M].北京:人民邮电出版社,2019.

参考书目

1.MattCasters（马特·卡斯特）,RolandBouman（罗兰·布曼）,JosvanDongen（乔斯·凡·东恩）.PentahoKettle解决方案：使用PDI构建开源ETL解决方案[M]北京:\o电子工业出版社电子工业出版社,2014.

课程资源

1.数据获取与预处理.网易云课堂.

/course/2001353005?tid=2001578010#/info

课程简介

数据采集与预处理是计算机科学与技术技术专业的选修课程，旨在让学生掌握主流的数据采集技术和大数据预处理方法和工具，具备采集大数据并对其进行预处理的能力。课程内容包括正则表达式、网络爬虫、数据预处理背景及其意义、数据预处理理论方法、数据预处理工具（Kettle）、Kettle的使用等。

二、课程目标

表2-1课程目标

序号

具体课程目标

课程目标1

能够应用数学、计算机科学和数据采集与预处理的基本原理，在数据采集与预处理流程的构思与设计阶段，通过文献研究、实验试验、工程推理、数学建模等方法，识别、表达、分析复杂数据采集与预处理问题及其解决方法、识别和判断数据采集与预处理问题的关键环节和参数，已获得数学模型、工程知识库等有效结论。

课程目标2

能够利用数据采集与预处理基础知识，以及计算机及软件工程等相关领域的专业知识、技能与工具，设计针对数据采集与预处理问题的解决方案，解决实际数据采集与预处理全过程中遇到的复杂工程问题，并能够在设计环节中体现创新意识，考虑社会、健康、安全、法律、文化以及环境等因素。

课程目标3

能够针对数据采集与预处理过程中涉及的复杂工程问题，选择和使用恰当的数据采集和预处理工具，进行信息的采集、预处理、表达、建模、设计、模拟、验证，并能够在实践中了解国内主流数据采集和预处理平台在不同应用场景中的优势和局限性；树立使用国产软件、保护版权的意识，激发民族自豪感；坚持自主创新，为建设世界科技强国而奋斗。

表2-2课程目标与毕业要求对应关系（计算机科学与技术专业）

毕业要求

指标点

课程目标

毕业要求3.设计/开发解决方案：能够针对计算机复杂工程问题的解决方案，设计并实现满足特定需求的软件系统，并能够在设计和实现环节中体现创新意识，考虑社会、健康、安全、法律、文化以及环境等因素。【H】

3.2能够识别计算机软件系统设计与实现中的关键问题，并对方案进行持续优化，体现创新性。

课程目标1

毕业要求5.使用现代工具：能够针对计算机复杂工程问题，开发、选择与使用恰当的技术、资源、现代工程工具和信息技术工具，包括对计算机复杂工程问题的预测与模拟，并能够理解其局限性。【M】

5.1掌握常用软硬件开发环境和开发工具的性能、适用范围以及对开发、分析的适用性，并能正确使用。

课程目标2

毕业要求6.工程与社会：能够基于工程背景知识进行合理分析，评价计算机工程实践和复杂工程问题解决方案对社会、健康、安全、法律以及文化的影响，并理解应承担的责任。【L】

6.1具有社会、健康、安全、法律以及文化意识，能够认识到计算机软件、硬件、网络和相应的复杂工程问题在这几方面的影响，并能够基于工程相关背景知识进行合理分析。

课程目标3

三、课程学习内容与方法

（一）理论学习内容及要求

表3-1课程目标、学习内容和教学方法对应关系

序号

课程模块

学习内容

学习任务

课程目标

学习重点难点

教学方法

学时

1

数据采集

1.数据采集概述

1.拓展阅读：阅读数据采集相关的文献，查阅网络爬虫相关案例，学习国内主流的数据采集工具

课程目标1

重点：

1.数据采集技术算法的实现

2.网络爬虫算法实现