- 3
- 0
- 约小于1千字
- 约 34页
- 2021-02-03 发布于辽宁
- 举报
;;掌握爬虫的基本概念和工作原理
掌握爬虫的基本结构
掌握爬虫的基本工作流程
掌握爬虫工作环境相关组件的安装
掌握使用浏览器进行抓包分析的方法
熟悉网站结构分析方法
掌握网页去重和抓取策略
掌握常见抓取对象的抓取方法
掌握静态网页的爬虫编写
;;什么是网络爬虫
网络爬虫是一种按照一定的规则,根据网页的结构自动地抓取不同互联网站点或软件信息的程序或者脚本。
预先按照一定规则编写好的脚本程序,当我们运行它时,它会按照预定的规则抓取相应站点的信息。;通用网络爬虫结构;(1)针对目标待爬取页面进行筛选并作为种子URL。
(2)将这些URL地址加入待抓取的URL队列。
(3)从待抓取URL队列中取出待抓取在URL,解析DNS,并且得到主机的IP,并将URL对应的网页下载下来,存储进已下载网页库中。此外,将这些URL放进已抓取URL队列。
(4)从已抓取的页面中分析是否有新的待爬取URL地址,如果有则继续解析这些URL,并且将URL放入待抓取URL队列,从而进入下一个循环,直到所有待抓取页面被全部抓取完毕为止。;;利用蜗牛学院的首页请求进行抓包分析:
(1)利用Chrome浏览器打开蜗牛学院首页
(2)通过鼠标右键单击“检查”或直接单击键盘上的“F12”快捷键打开Chrome控制台
(3)单击“F5”键刷新当前页面
(4)单击Chrome控制台上的“Network”标签(中文为“网络”);Ge
您可能关注的文档
最近下载
- 2024北京西城区四年级上学期期末语文试卷及答案.pdf VIP
- 提高创新和创业的团队管理能力.pptx
- 高速铁路桥隧建筑物修理规则(试行),铁运[2011]131号.pdf VIP
- 污水管网运维服务合同范本7篇.docx VIP
- ISTA 3E 中文版(2026 最新修订版 单元化货物运输包装测试标准 完整原文 + 叉车叉举测试).docx VIP
- 医院感染暴发报告及处置管理规范课件.ppt VIP
- 乘用车空气悬架用空气弹簧技术规范.docx VIP
- 西贝莜面村财务报表分析(完整版).docx VIP
- 塔吊安拆应急预案应急处置.pdf VIP
- 2026年安全管理人员尽职减责培训课件.pptx VIP
原创力文档

文档评论(0)