Python爬虫开发实战教程（微课版）教学课件全套.pptx

;;掌握爬虫的基本概念和工作原理

掌握爬虫的基本结构

掌握爬虫的基本工作流程

掌握爬虫工作环境相关组件的安装

掌握使用浏览器进行抓包分析的方法

熟悉网站结构分析方法

掌握网页去重和抓取策略

掌握常见抓取对象的抓取方法

掌握静态网页的爬虫编写

;;什么是网络爬虫

网络爬虫是一种按照一定的规则，根据网页的结构自动地抓取不同互联网站点或软件信息的程序或者脚本。

预先按照一定规则编写好的脚本程序，当我们运行它时，它会按照预定的规则抓取相应站点的信息。;通用网络爬虫结构;（1）针对目标待爬取页面进行筛选并作为种子URL。

（2）将这些URL地址加入待抓取的URL队列。

（3）从待抓取URL队列中取出待抓