手把手教你使用scrapy框架来爬取北京新发地价格行情（实战篇）.docxVIP

手把手教你使用scrapy框架来爬取北京新发地价格行情（实战篇） 前言 ????关于Scrapy理论的学问，可以参考我的上一篇文章，这里不再赘述，直接上干货。 实战演练 爬取分析 首先我们进入北京新发地价格行情网页并打开开发者工具，如下图所示： 经过简约的查找，发觉每个getPriceData.html存放着价格行情的数据，由此可得，我们可以通过getPriceData.html来进行数据的猎取。 观看Headers恳求，如下图所示： 发觉它是POST恳求，恳求URL链接是/getPriceData.html，current是翻页的重要参数，limit是每页有多少行数据，我们可以构造消息体，代码如下所示： data={ limit: 20, current:page } 通过scrapy.Request()方法将消息体传入到参数里面。 或者我们可以依据测试和观看规律，本人构造URL链接，通过观看分析，恳求的URL链接可以为： /getPriceData.html?limit=20¤t=1 /getPriceData.html?limit=20¤t=2 /getPriceData.html?limit=20¤t=3 创建Spider爬虫 分析北京新发地价格行情后，接下来我们首先创建一个Scrapy项目，使用如下命令： scrapy startproject Vegetables 这样我们就成功创建了一个Scrapy项目，项目文件如下所示： 接下来创建spider爬虫，使用如下命令： scrapy genspider vegetables 创建后vegetables.py内容如下所示： import scrapy class VegetablesSpider(scrapy.Spider): name = vegetables allowed_domains = [] start_urls = [] def parse(self, response): pass 提取数据 在提取数据前，我们首先把要爬取的数据字段在items.py文件中定义好，代码如下所示： import scrapy class VegetablesItem(scrapy.Item): # define the fields for your item here like: productName = scrapy.Field() lowPrice=scrapy.Field() highPrice=scrapy.Field() 这里我们定义了三个字段分别是productName、lowPrice、highPrice 定义好字段后，接下来将在创建的vegetables.py文件中进行数据的提取，具体代码如下 import scrapy from Vegetables.items import VegetablesItem class VegetablesSpider(scrapy.Spider): name = vegetables allowed_domains = [] def start_requests(self): for i in range(1, 3): url = f/getPriceData.html?limit=20¤t={i} yield scrapy.Request(url=url, callback=self.parse) def parse(self, response): html = response.json() fooddata = html.get(list) for i in fooddata: item=VegetablesItem() item[highPrice] =i.get(highPrice), item[lowPrice] = i.get(lowPrice), item[prodName] = i.get(prodName), yield item 首先我们导入vegetablesitem，使用start_requests函数实现翻页，大家可以使用刚才我们所讲的方法实现翻页，实现翻页后，我们通过编写parse()方法实现数据的猎取，首先我们把引擎响应的数据以json()格式存放在html里面，调用get()方法来提取我们想要的数据，最终通过yield生成器前往给引擎。 最终我们在settings.py设置引擎的启