数据采集与网络爬虫课程设计课程教学大纲.docxVIP

《数据采集与网络爬虫课程设计》课程教学大纲 一、课程基本信息 课程名称 数据采集与网络爬虫课程设计 Trainingfordataacquisitionandwebcraw1er 课程代码 课程性质 必修 授课学期 5 学分/学时 1/16 课内学时 16 理论学时 0 实验学时 0 实训（含上机） 16 实习 0 其他 0 适用专业 数据科学与大数据专业 授课语言 中文 对先修的要求 具备用Python进行实际问题编程的能力，，已修Python程序设计，数据结构与算法分析，数据采集与网络爬虫等课程 对后续的支撑 为大数据分析与应用案例、深度学习等课程提供数据采集和实践基础。 课程思政设计 在课程设计实践中，从实际问题出发，坚定学生专业自信，同时要求学生要以保护国家机密遵守网络安全为前提进行，在爬取数据时遵纪守法，同时鼓励学生利用自己所学知识，为国家和社会各类资源的安全做出贡献。 创新创业教育设计 在课程设计的选题阶段，引导学生爬取什么数据、如何爬取数据。引导学生对方案的可行性分析和合理的程序设计，并对自身的设计方案有创新的探索与实践。 课程简介 课程定位：数据采集与网络爬虫课程设计是数学与计算科学学院数据科学与大数据专业在学习了PythOn程序设计，数据结构与算法分析，数据采集与网络爬虫之后配I≡003,它为后续课程大数据分析与深度学习等酬数据采集和实践基础。 主要学习内容：本课程教学是学生在教师指导下，根据选定的课程设计项目，综合运用所学的网络爬虫课程理论知识体系，包括获取网页、解析网页、存储数据、数据分析及可视化等应用于具体的数据采集与网络爬虫中去。从项目的需求分析、爬虫方案设计、代码编写、程序调试和运行等训练任务，最终撰写完整规范的课程设计报告，并按照安排参加答辩，讲清楚各自的工作内容并回答相关的问题。 核心学习结果：本课程学习目的是使数据科学与大数据专业的学生获得以  下能力与素养：1）在解决实际问题的时候，应用数据采集与爬虫的能力，采集数据处理实际问题；2）用用砰羽时用1?I1W雁但团前而aP1P11?!而丽而囱丽雨 主要教学方法：本课程主要采取教师简要介绍理论知识，布置课题任务，学生分组上机运用Py1hon软件进行数据采集解决实际问题。 二、课程目标及对毕业要求指标点的支撑 序号 课程目标 支撑毕业要求指标点 毕业要求 1 目标1：掌握数据采集与网络爬虫中发送请求、解析网页、数据存储等技术的基本知识、原理及方法，能够用Python编写网络爬虫进行数据采集、数据存储、数据预处理及初步的数据分析 （支撑毕业要求指标点2.2） 2.2掌握计算机科学的基本知识、原理、方法，并会应用到大数据科学等领域。 2知识掌握： 掌握数学、自然科学、计算机科学、数据科学与大数据技术所需要的专业知识，具有国际视野，了解大数据科学领域的国际形势和发展动态，并能将所学知识用于解释大数据科学领域中的复杂问题。 2 目标2：能够根据数据挖掘的需要设计出合理、有效的数据采集方案，通过数据采集与网络爬虫的技术来解决数据获取的实际问题。并能够将实验方案整理成规范的分析报告。（支撑毕业要求指标点4.3） 4.3 利用大数据科学的专业知识、针对实际问题的具体情况、结合文献资料对模型进行分析，采用恰当的方法、仪器设备、数据分析软件对特定问题的数据模型进行算法优化，并能够写出规范的分析报告和解决方案。 4 设计/开发解决方案：能够针对数据科学与大数据技术应用的特定需求，设计适当的流程、方案，选取合适的技术予以实现，并在设计或开发的过程中考虑经济、社会、健康、安全、法律、文化及环境因素。 三、教学内容及进度安排 序号 教学内容 学生学习预期成果 课内学时 教学方式 支撑课 程目标 1 课程设计任务布置： 引导学生综合应用所学的爬虫知识去解决现实生活中具体的数据采集与网络爬虫任务（如豆瓣电影影评数据爬取与分析、大数据岗位人才招聘信息的分析与挖掘等）。 发现有价值，并适合作课程设计的问题，通过综合分析确定课程设计内容 2 布置任务讨论 上机 目标1 目标2 2 任务实施： 指导学生根据任务完成具体的爬虫代码编写并进行数据预处理及简单的数据分析。进一步发现不足，作出优化。 能根据实际问题的需要编辑合适的爬虫程序并进行数据预处理及简单的数据分析。 10 讨论 上机 目标1 目标2  3 课程设计撰写： 指导学生撰写规范的分析报告并进行答辩PPT。 能够写出规范的分析报告和解决方案 4 讨论上机 目标2 四、课程考核 该课程采用案例设计的形式考核，具体要求如下：（1）最多5人组成一队。（2）最终以研究报告的形式提交，一般应包含程序页、数据页、数据分析处理和附录等内容。 数据科学与大数据专业的考核 序号 课程目标（支撑毕业要求指标点） 考核内容 评价依据及成绩比例（%