反爬虫技术核心：识别爬虫与检测挑战.pdfVIP

07|反爬虫升级如何判定你是个

你好，我是DSHunter。

上一讲，我们提到了，爬虫使用分布式，可以最大程度地隐藏自己。那么最大程度是到什么程度呢，反爬虫方如何应对呢？

还是回到反爬虫的问题：识别爬虫。

检测的相关探讨

我最开始做反爬虫的时候，痛苦，完全不知道如何识别爬虫。有一天，我和老婆，提到了这个事情。我说我们技术领域有

个新的方向，就是识别一个请求是不是。如果不是，那就要，但是难点在于识别真假，根本找不到任何通用的规则来

指导大家去操作。

我老婆很不屑地说了句：这有什么难的，这和我们识别不是一样的？每一个都会有一些自己的理论，但是如果说通用

的规则，我们只有一个，那就是：一定和不一样。

真的是听妻一席话如听一席话啊。我当时觉得她在逗我，但是随着反爬虫做得越来越深入，我惊讶地发现，这句无心的话，居然真

的点破了反爬虫的本质：这个世界上有各种爬虫，它们唯一的共同点就是，它们和不一样！

那么，我们可以进行检测吗？如果可以，进行检测的方法都有什么呢？它们各自的优劣呢？别急，我们一个一个

说。

检测是否可行

首先，我们可以直接下一个结论：