Python爬虫实例教程24. CrawlSpider.pptx

Python爬虫实例教程 讲师：日月光华 CrawlSpider 答疑群：945189407 CrawlSpider类 CrawlSpider类是爬取一般网站最常用的spider类。CrawlSpider允许我们根据一定的URL规则提取跟进的链接，这是因为一般网站设计其URL构造都符合一定的规则，CrawlSpider正是利用这种URL构造规则跟进链接，实现对全网站的爬取。 rules rules是规则对象的集合，集合中的每条Rule对爬取网站的动作定义了特定表现，也就是说我们的爬取规则就是在rules里面定义，如果多个Rule匹配了相同的链接，则根据它们在本属性中被定义的顺序，第一个会被使用。 link_extractor link_extractor，也叫做链接提取器，我们使用它来定义具体的爬取规则，即如何从爬取到的页面提取链接。link_extractor是链接提取器与方便的过滤选项 CrawlSpider实例 我们使用CrawlSpider来编写房天下北京二手房房源爬虫 谢谢大家 讲师：日月光华 答疑群：945189407