《Python网络爬虫技术》项目1 了解爬虫与Python爬虫环境.pptxVIP

了解爬虫与Python

爬虫环境;;网络爬虫（WebSpider，简称爬虫）也被称为网络蜘蛛、网络机器人，是可以自动下载网页的计算机程序或自动化脚本。

网络爬虫就像一只蜘蛛一样在互联网上爬行，它以一个被称为种子集的统一资源定位符（UniformResourceLocator，URL）集合为起点。

沿着URL的“丝线”爬行，下载每一个URL所指向的网页，分析页面内容。再提取新的URL并记录下每个已爬行过的URL。

如此往复，直到URL队列为空或满足设定的终止条件为止，最终爬取所要的信息。;网络爬虫按照其系统结构和运作原理，大致可以分为4种：通用网络爬虫、聚焦网络爬虫、增量式网络爬虫和深层网