Scrapy框架之Scrapy-Splash的使用.pdfVIP

Scrapy框架之Scrapy-Splash的使⽤ Scrapy-Splash插件的介绍与安装, 最后通过⼀个实际的例⼦介绍Scrapy-Splash的使⽤ 前提 熟练使⽤Scrapy框架做基本的爬⾍开发 Scrapy-Sp las h? splash是⼀个JavaScript渲染服务。它是⼀个实现了HTTP API的轻量级浏览器，splash使⽤python实现的，同时使⽤Twisted和QT. scrapy-splash 是为了⽅便scrapy框架使⽤splash⽽进⾏的封装。它能与scrapy框架更好的结合，相⽐较于在python中 使⽤requests库或者 使⽤scrapy 的Request对象来说，更为⽅便，⽽且能更好的⽀持异步。 Why Scr apy-Sp las h? JS渲染解析的功能，这时候Scrapy-Splash就有了⽤武之地. Scrapy-Sp las h I nstall 因为Scrapy-Splash必须在docker中使⽤, 所 以 ⾸ 先 得 安装docker, 安装docker的⽅ 式 这 ⾥ 不做介绍了. 我这 ⾥ 使⽤的 机 Ubuntu18.04上安装docker参 考在Ubuntu18.04上安装docker⽂ 章 : scrapy-splash界⾯.png Scrapy-Sp las h Usag e xpath路经.png 通过在浏览器中分析, 封⾯图的xpath路经为: //div[@id=fmimg]/img/@src, 然后我们编写⼀个parse解析⽅式, 打印出抓取到的封⾯图地址: def parse(self, response): print(response.xpath(//div[@id=fmimg]/img/@src).extract_first()) 往Redis中推送任务后运⾏爬⾍, 发现输出为: 2019-02-27 10:07:21 [scrapy.core.engine] INFO: Spider opened 2019-02-27 10:07:23 [dmoz] DEBUG: Resuming crawl (1 requests scheduled) 2019-02-27 10:07:23 [scrapy.extensions.logstats] INFO: Crawled 0 pages (at 0 pages/min), scraped 0 items (at 0 items/min) 2019-02-27 10:07:23 [scrapy.extensions.telnet] INFO: Telnet console listening on :6023 2019-02-27 10:07:27 [scrapy.core.engine] DEBUG: Crawled (200) GET /0_25/ (referer: None) None 2019-02-27 10:07:28 [dmoz] INFO: no task sleep 30s 2019-02-27 10:07:32 [scrapy.crawler] INFO: Received SIGINT, shutting down gracefully. Send again to force 2019-02-27 10:07:32 [scrapy.core.engine] INFO: Closing spider (shutdown) 很显然没有抽取到我们期望的内容, 然后回过头来发现, 原页⾯中封⾯地址实际上是通过⼀个js脚本加载的, ⽽在浏览器中能够看到xpath是因为浏 览器已经帮我们把这个js加载好了, 但是Scrapy框架则只会请求这个⼩说的⽂件, 不会加载其中的js, 如果想要加载js, 这个时候就需要Scrapy- Splash就登场了. Splash Render后的结果 接下来, pip install scrapy_splash 安装scrapy_splash, 然后编写⼀个start_requests⽅法: def start_requests(sel