《网络爬虫项目实践》 教案 李程文 项目3、4 scrapy框架爬虫、分布式爬虫.docx

项目三 scrapy框架爬虫 教案 课程名称：网络爬虫项目实践 课程类别：必修 适用专业：大数据技术类相关专业 总学时：64学时（其中理论28学时，实验36学时） 总学分：4.0学分 本章学时：3学时 材料清单 《网络爬虫项目实践》教材。 配套PPT。 引导性提问。 探究性问题。 拓展性问题。 教学目标与基本要求 教学目标 本项目分为三个任务，任务1通过当当网的爬取演示如何使用Scrapy的基本使用，任务2通过赶集网的登录演示Scrapy的模拟登录功能，任务3通过失信人信息爬取演示Scrapy爬取复杂网站的方法。 、基本要求 掌握使用Scrapy创建爬虫项目的方式 掌握Scrapy创建爬虫文件命令的使用 掌握使用Scrapy进行数据爬取的基本方法 掌握使用Scrapy模拟登录赶集网的方法 掌握将爬取结果存储到MySQL数据库的方法 掌握Ajax数据爬取方式 问题 引导性提问 引导性提问需要教师根据教材内容和学生实际水平，提出问题，启发引导学生去解决问题，提问，从而达到理解、掌握知识，发展各种能力和提高思想觉悟的目的。 Scrapy项目是由哪些主要文件和目录组成的？ Scrapy如何定义提取的结构化数据（Item）？ Scrapy如何编写爬虫（Spider）并从网页中提取Item？ 探究性问题 探究性问题需要教师深入钻研教材的基础上精心设计，提问的角度或者在引导性提问的基础上，从