Python爬虫开发实战教程第1章 静态网页爬虫.pptxVIP

  • 3
  • 0
  • 约小于1千字
  • 约 34页
  • 2021-02-03 发布于辽宁
  • 举报

Python爬虫开发实战教程第1章 静态网页爬虫.pptx

;;掌握爬虫的基本概念和工作原理 掌握爬虫的基本结构 掌握爬虫的基本工作流程 掌握爬虫工作环境相关组件的安装 掌握使用浏览器进行抓包分析的方法 熟悉网站结构分析方法 掌握网页去重和抓取策略 掌握常见抓取对象的抓取方法 掌握静态网页的爬虫编写 ;;什么是网络爬虫 网络爬虫是一种按照一定的规则,根据网页的结构自动地抓取不同互联网站点或软件信息的程序或者脚本。 预先按照一定规则编写好的脚本程序,当我们运行它时,它会按照预定的规则抓取相应站点的信息。;通用网络爬虫结构;(1)针对目标待爬取页面进行筛选并作为种子URL。 (2)将这些URL地址加入待抓取的URL队列。 (3)从待抓取URL队列中取出待抓取在URL,解析DNS,并且得到主机的IP,并将URL对应的网页下载下来,存储进已下载网页库中。此外,将这些URL放进已抓取URL队列。 (4)从已抓取的页面中分析是否有新的待爬取URL地址,如果有则继续解析这些URL,并且将URL放入待抓取URL队列,从而进入下一个循环,直到所有待抓取页面被全部抓取完毕为止。;;利用蜗牛学院的首页请求进行抓包分析: (1)利用Chrome浏览器打开蜗牛学院首页 (2)通过鼠标右键单击“检查”或直接单击键盘上的“F12”快捷键打开Chrome控制台 (3)单击“F5”键刷新当前页面 (4)单击Chrome控制台上的“Network”标签(中文为“网络”);Ge

文档评论(0)

1亿VIP精品文档

相关文档