反爬虫策略与爬虫应对方法探讨.pdfVIP

06爬虫攻势升级分布式的意义在哪里

你好，我是DShunter。

上一讲，我们讲到了反爬虫做为一个合格的保安，会尽力对爬虫进行。当然，不遗余力地，从某种意义上来说也不一定是

最优解。

关于最优解问题我们会在后续探讨。今天我们主要看一下：当保安尽力爬虫的时候，爬虫方是怎么处理的？

这里，我就先从基础的爬虫思路给你引入。

爬虫基础思路

一些做过爬虫的人可能都知道，网上主要有两种爬虫思路。

第一种是，你要尽可能少爬一点，避免把服务器爬挂了。比如你的QPS（Queries-per-second，每秒查询率）本来是100，那么你

尽量放到50。

而另一种流派则认为，反爬虫会根据单个IP的请求来统计你的请求是否均匀。如果不均匀，例如只请求价格接口，那么他会直

接你的IP。为了避免这一情况，你应该多请求一些与你无关的接口。这样你的QPS如果本来是100，那么实际上会扩大到500甚

至。

这里可以注意这样一点，如果你的QPS本来是100，那么根据方案一，你应该缩小到50。根据方案二，你应该扩大到500。可是，

两者相差了十倍之多，到底哪个是正确的呢？

这里就要引入一个几乎所有的爬虫都会提到的词：分布式。似乎不做分布式，爬虫就不能称为爬虫了。那么，我们为什么一定

需要分布式呢？还是说，仅仅是别人这么说了，我们就