网络爬虫历史演变与技术挑战.pdfVIP

01|爬虫需求的诞生我们是正经的软件

你好，我是DSHunter，反爬虫专家。

也许你是一个爬虫工也许是反爬虫工甚至，也许你只是一个业务方的普通研发，被授予了反爬的重任。但是，不论你

的，“什么是爬虫”这个问题都是你必须要了解的。

为什么这么说呢？

可能你常把爬虫挂在嘴边，觉得自己已经很熟悉爬虫了，但当你尝试自己做一个爬虫或者完成一个反爬虫动作时，却发现无从下

手。其实，很大的一个就是你对于“什么是爬虫”这个问题了解得并不透彻。

从的视角来了解爬虫从哪里来、能做什么，以及从诞生到现在的这段时间里都发生了什么样的变化，可以让你对“什么是爬

虫”这个问题产生更深度的思考，这也是我要在课程里特地为你设置一个“背景篇”的主要。咱们接下来正式开始吧。

什么是爬虫

爬虫是一个悠久的需求，严格来说，它甚至比网络出现得还早。或者你也可以理解为，网络出现，网络和爬虫才结合成了

我们所熟知的网络爬虫。因为互联网大部分的功能其实并没有什么新意，只不过是把线下的场景搬到线上来了。

而爬虫，其实就于线下。再聚焦一些，爬虫，于再平常不过的——菜市场。

买菜和爬虫买菜也爬虫

前几天我听了一首很的歌，叫《说走就走》。里面有一段话，说的是：“走世界，看，从18岁讲