《Python 基础与大数据应用》电子教案 单元 08 Python 爬虫框架.docxVIP

单元08Python爬虫框架教案

课程名称：Python基础与大数据应用

课程类别：必修

适用专业：大数据技术类相关专业

总学时：64学时

总学分：4.0学分

本章学时：8学时

一、材料清单

《Python基础与大数据应用》教材

Scrapy框架安装、项目创建、爬虫编写示例代码

国家统计局爬虫、古诗词名句爬虫完整源码

Ubuntu20.04+Python3.12.1+Scrapy2.11.1环境

二、教学目标与基本要求

1.教学目标

了解主流Python爬虫框架；掌握Scrapy框架架构、组件与数据流；熟练完成Scrapy安装、项目创建、配置编写、爬虫开发；掌握使用XPath提取数据、Item定义、Pipeline数据处理；能独立完成网页文本与数据爬取并保存至文件/MySQL数据库；具备使用专业爬虫框架高效采集数据的能力。

2.素质目标

强化合法、合规、守信、守规的网络行为准则。

工程化开发思想，培养规范开发、安全开发、责任开发的职业素养。

引导学生将技术用于国家大数据战略、数字政府、智慧城市建设，增强家国情怀与使命感。

3.基本要求

了解常见爬虫框架：Scrapy、Crawley、Portia、PySpider、BeautifulSoup等。

掌握Ubuntu与PyCharm下安装Scrapy框架