22-数据采集技术（企业）0615006007-教学大纲.pdfVIP

《数据采集技术》

课程教学大纲

院（系/部）：计算机科学与技术学院

教研室：计算机科学与技术教研室

日期：2023.05

《数据采集技术》课程教学大纲

课程英文名称：DataGatheringTechnology课程编码：0615006007

总学分/总学时：3/48理论学时/实验学时：32/16

课程性质：专业拓展课先修课程：程序设计基础、数据库系统原理

课程负责人：邵明雯适用专业：软件工程（校企合作）专业

开课单位：计算机科学与技术学院大纲制定者：邵明雯

大纲审定者：毛艳艳大纲审定时间：2023.05

本大纲适用2023年版软件工程(校企合作)专业人才培养方案

一、课程简介

本课程旨在介绍数据采集技术的基本原理、方法和应用，使学生掌握数据采集的

核心技能。课程将涵盖数据采集的各个方面，包括网络爬虫技术、正则表达式、数据

解析库、自动化测试工具、数据库数据采集等。通过本课程的学习，学生将能够构建

高效的数据采集系统，提取和分析互联网上的大量数据，为数据分析和数据挖掘提供

有力支持。同时，本课程还将注重培养学生的法治意识和职业道德，引导学生正确理

解和使用数据采集技术，遵守道德和法律约束。

学生通过本课程学习，可以掌握数据采集的概念，了解其应用价值。掌握采集数

据的类型、数据采集流程以及数据采集方法等。掌握网络爬虫概念，掌握使用urlib库

和requests库进行网页数据爬取，掌握使用正则表达式、lxml模块与XPath、BeautifulSoup、

Selenium等解析数据。掌握爬虫框架Scrapy的核心组件、运行流程及如何使用Scrapy

框架爬取全站数据等。掌握相关数据采集和团队协作应具备的基础知识和技能，进而

使用课程的方法来指导未来的软件开发相关的工作和学习。

二、课程目标与毕业要求关系

（一）课程目标

1.知识传授目标

1-1掌握数据采集的基础知识，包括网络爬虫的基本思想和技术。

1-2了解Web的工作原理、HTTP协议、网页字符编码等基本概念。

1-3掌握不同数据采集工具和方法的使用，如urllib、requests、Scrapy、Selenium、

BeautifulSoup、Scrapy等。

1-4掌握日志数据与数据库数据采集的方法和技术的使用，如ELK、Filebeats、

LogStash等。

2.能力培养目标

2-1能够熟练利用Python标准库和第三方库采集爬虫数据，具备使用不同策略采

集互联网的数据的技能。

2-2能够编写具有一定复杂度的、规范的、符合算法设计的爬虫程序，能够利用数

据采集收集海量数据并解析。

3.价值塑造目标

3-1引导学生正确理解和使用数据采集技术，遵守道德和法律约束。

3-2强调数据采集在社会发展中的重要作用，培养学生的责任感和使命感。

3-3具有团队协作能力，能够有效地进行人际沟通，并且在工程实践中具有一定的

组织和协调能力。

（二）课程目标对毕业要求的支撑关系

毕业要求课程目标支撑强度建议占比

1.工程知识：具有专业所需的数学、自然科学和

工程基础等基础知识，扎实掌握从事软件开发所

需的计算机科学、大数据技术与应用、数学、自课程目标1H0.40

然科学和软件工程知识，并能将知识用于解决计

复杂工程问题。

3.设计/开发解决方案：掌握软件工程基础知识、

专业基本理论和方法，具备解决软件工程实际问

题的能力；能够在工程设计中体现创新意识和能课程目标2H0.35

力，综合考虑社会、健康、安全、法律、文化以

及环境等因素。

8.职业规范：具有