《网络爬虫项目实践》 课件 项目3、4 scrapy框架爬虫、分布式爬虫.pptx

;;任务2.1当当网商品爬取;任务描述;获取百度失信人名单 将名单信息保存到MySQL数据库中 实现随机User-Agent下载器中间件 实现代理IP下载器中间件;1 创建Scrapy项目;1 创建爬虫项目;1 创建爬虫项目;2 商品数据爬取;2 商品数据爬取;2 商品数据爬取;2 商品数据爬取;2 商品数据爬取;2 商品数据爬取;2 商品数据爬取;2 商品数据爬取;2 商品数据爬取;2 商品数据爬取;3 商品数据处理;3 商品数据处理;3 商品数据处理;3 商品数据处理;3 商品数据处理;在本任务的基础上，爬取如图3-16所示商品的价格信息和折扣信息;任务2.2 登录赶集网;任务描述;使用Scrapy模拟登录赶集网 对隐藏式验证码进行获取 获取赶集网验证码并保存;1 创建爬虫项目;1 创建爬虫项目;1 创建爬虫项目;1 创建爬虫项目;2 获取表单HashCode;2 获取表单HashCode;2 获取表单HashCode;3 获取验证码;4 代码编写;4 代码编写;4 代码编写;4 代码编写;4 代码编写;4 代码编写;任务2.3 失信人信息爬取;任务描述;获取百度失信人名单 将名单信息保存到MySQL数据库中 实现随机User-Agent下载器中间件 实现代理IP下载器中间件;1 创建爬虫项目;1 创建爬虫项目;2 定义数据模型;2 定义数据模型;3 爬取失信人名单;3 爬取失