爬虫和数据库.pdfVIP

爬⾍和数据库 1.scrapy和scrapy-redis有什么区别？为什么选择redis数据库？ 1) scrapy是⼀个Python爬⾍框架，爬取效率极⾼，具有⾼度定制性，但是不⽀持分布式。⽽scrapy-redis⼀套基于redis数据库、运⾏在 scrapy框架之上的组件，可以让scrapy⽀持分布式策略，Slaver端共享Master端redis数据库⾥的item队列、请求队列和请求指纹集合。 2) 为什么选择redis数据库，因为redis⽀持主从同步，⽽且数据都是缓存在内存中的，所以基于redis的分布式爬⾍，对请求和数据的⾼频 读取效率⾮常⾼。 2. 你⽤过的爬⾍框架或者模块有哪些？谈谈他们的区别或者优缺点？ Python⾃带：urllib，urllib2 第 三 ⽅：requests 框 架：Scrapy urllib和urllib2模块都做与请求URL相关的操作，但他们提供不同的功能。 urllib2.：urllib2.urlopen可以接受⼀个Request对象或者url，（在接受Request对象时候，并以此可以来设置⼀个URL 的 headers），urllib.urlopen只接收⼀个url urllib 有urlencode,urllib2没有，因此总是ur