Python高级编程 课件 第9讲 网络爬虫.pptx

第9讲网络爬虫;第9讲主讲内容;

一、爬虫的概念

;2、爬虫分类;按照重要性决定链接的访问顺序。也可使用基于语境图的爬行策略，即：通过建立语境图建立网页之间的相关度，优先访问距离最近的页面。

（3）增量式网络爬虫，只对已下载网页采取增量式更新或只爬行发生变化的网页，即：通过重新访问网页对本地页面进行更新，从而保持本地集中存储的页面为最新页面。

（4）深层网络爬虫，指不能直接爬取的一些网站，例如：需要用户登录或填写特定表单信息才能深入爬取的页面。;URLlib.request模块：用于实现基本的http请求。

URLlib.error模块：用于异常处理。如在发送网络请求时出