Python网络爬虫实战课件：网页请求原理与爬虫基础.pptx

网页请求原理与爬虫基础

目录01网页基础爬虫实现原理02HTTP基础0304抓包工具Fiddler

爬虫实现原理01

爬虫实现原理01通用爬虫通用爬虫是从互联网中搜集网页，采集信息，采集的网页信息用于为搜索引擎建立索引从而提供支持，决定着整个引擎系统的内容是否丰富，信息是否及时，因此其性能的优劣直接影响着搜索引擎的效果。

爬虫实现原理02聚焦爬虫聚焦爬虫（又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是面向特定主题需求的一种网络爬虫程序，它与通用搜索引擎爬虫的区别在于：聚焦爬虫在实施网页抓取时会对内容进行处理筛选，尽量保证只抓取与需求相关的网页信息。(1)