每日早读第13周day04scrapy介绍四.pdfVIP

Scrapy介绍四 Spider （爬⾍） 爬⾍是定义如何抓取某个⽹站 （或⼀组⽹站）的类，包括如何执⾏抓取 （即关注链接）以及如 何从其⽹⻚中提取结构化数据 （即抓取项 ⽬）。换句话说，Spider是您定义⽤于为特定⽹站 （或在某些情况下，⼀组⽹站）抓取和解析⽹⻚的⾃定义⾏为的位置。 对于爬⾍，循环经历这样的事情 ： 1. 您⾸先⽣成⽤于抓取第⼀个URL的初始请求，然后指定要使⽤从这些请求下载的响应调⽤ 的回调函数。 第⼀个执⾏的请求通过调⽤ st art_request s()