Scrapy研究探索.docVIP

Scrapy研究探索（七）——如何防止被ban之策略大集合 2014-06-30 ????我来说两句??? 来源：Scrapy研究探索（七）——如何防止被ban之策略大集合?? 收藏????我要投稿 话说在尝试设置download_delay小于1，并且无任何其他防止被ban的策略之后，我终于成功的被ban了。如下： 敌退我进，敌攻我挡。 本篇博客主要研究使用防止被ban的几大策略以及在scrapy中的使用。 1.策略一：设置download_delay 这个在之前的教程中已经使用过（/u012150179/article/details，他的作用主要是设置下载的等待时间，大规模集中的访问对服务器的影响最大，相当与短时间中增大服务器负载。 下载等待时间长，不能满足段时间大规模抓取的要求，太短则大大增加了被ban的几率。 使用注意： download_delay可以设置在settings.py中，也可以在spider中设置，在之前博客中（/u012150179/article/details已经使用过，这里不再过多阐述。 2.策略二：禁止cookies 所谓cookies，是指某些网站为了辨别用户身份而储存在用户本地终端（Client Side）上的数据（通常经过加密），禁止cookies也就防止了可能使用cookies识别爬虫轨迹的网站得逞。 使用： 在settings.py中设置COOKIES_ENABLES=False。也就是不启用cookies middleware，不想web server发送cookies。 3.策略三：使用user agent池 所谓的user agent，是指包含浏览器信息、操作系统信息等的一个字符串，也称之为一种特殊的网络协议。服务器通过它判断当前访问对象是浏览器、邮件客户端还是网络爬虫。在request.headers可以查看user agent。如下，使用scrapy shell查看： scrapy shell /u012150179/article/details进而输入如下，可得到uesr agent信息： 由此得到,scrapy本身是使用Scrapy/0.22.2来表明自己身份的。这也就暴露了自己是爬虫的信息。 使用： 首先编写自己的UserAgentMiddle中间件，新建rotate_useragent.py,代码如下： # -*-coding:utf-8-*- from scrapy import log 避免被ban策略之一：使用useragent池。 使用注意：需在settings.py中进行相应的设置。 import random from scrapy.contrib.downloadermiddleware.useragent import UserAgentMiddleware class RotateUserAgentMiddleware(UserAgentMiddleware): def __init__(self, user_agent=): self.user_agent = user_agent def process_request(self, request, spider): ua = random.choice(self.user_agent_list) if ua: #显示当前使用的useragent print ********Current UserAgent:%s************ %ua #记录 log.msg(Current UserAgent: +ua, level=INFO) request.headers.setdefault(User-Agent, ua) #the default user_agent_list composes chrome,I E,firefox,Mozilla,opera,netscape #for more user agent strings,you can find it in /pages/useragentstring.php user_agent_list = [\ Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/22.0.1207.1 Safari/537.1,