网络爬虫基础与requests模块应用指南.pdf

网络爬虫基础与requests模块应用指南.pdf

爬⾍基础

爬⾍概念

⽹络爬⾍(⼜称为⽹⻚蜘蛛,⽹络机器⼈,在FOAF社区中间,更经常为⽹⻚

追逐者),是⼀种按照⼀定的规则,⾃动地抓取⽹信息的程序或者。另外

⼀些不常使⽤的名字还有蚂蚁、⾃动索引、模拟程序或者蠕⾍。

常⻅的爬⾍有两种:

通⽤爬⾍

通⽤⽹络爬⾍⼜称全⽹爬⾍(ScalableWebCrawler),爬⾏对象从⼀些种⼦URL

扩充到整个Web,主要为⻔户站点

文档评论(0)

1亿VIP精品文档

相关文档