Python网络爬虫项目实战习题答案.docxVIP

项目1

填空题

全网爬虫主题爬虫；累积式爬虫增量式爬虫；表层页面爬虫深层页面爬虫

Robots

发起请求、获取响应内容、解析内容、保存数据

选择题

1.A2.A3.D

简答题

1.

通用爬虫从一个或若干初始网页的URL开始，获得初始网页上的URL，在抓取网页的过程中，不断从当前页面上抽取新的URL放入队列，直到满足系统的一定停止条件。

（1）首先选取一些网页，将这些网页的链接地址作为种子URL；并将这些种子URL放入到待抓取URL队列中；

（2）爬虫精灵从待抓取URL队列（队列先进先出）中依次读取URL；

（3）将相应网页的内容从互联网下载到本地；

（4）将下载到本地的