原创力文档- 1、本文档共33页，可阅读全部内容。
- 2、原创力文档（book118）网站文档一经付费（服务费），不意味着购买了该文档的版权，仅供个人/单位学习、研究之用，不得用于商业用途，未经授权，严禁复制、发行、汇编、翻译或者网络传播等，侵权必究。
- 3、本站所有内容均由合作方或网友上传，本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺！文档内容仅供研究参考，付费前请自行鉴别。如您付费，意味着您自己接受本站规则且自行承担风险，本站不退款、不进行额外附加服务；查看《如何避免下载的几个坑》。如果您已付费下载过本站文档，您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等，请点击“版权申诉”（推荐），也可以打举报电话：400-050-0827(电话支持时间：9:00-18:30)。
查看更多
ThenameoftheDepartmentBeijingForestStudio
北京理工大学信息系统及安全对抗实验中心部门名称
网络爬虫技术简介
门元昊硕士研究生
2019年03月31日
内容提要
•背景介绍
•基本原理
•关键技术
•实际应用
•拓展延伸
•参考文献
2
背景介绍
•网络爬虫的概念
–狭义上，指遵循标准的http协议，使用超链接和Web文档
检索方法遍历万维网的软件程序。
–广义上，指能遵循http协议，检索Web文档的软件。
–简言之，网络爬虫是一种按照一定规则，自动的抓取网络上
信息的程序或者脚本。
–又被称为网络蜘蛛或者网络机器人。
3
背景介绍
•网络爬虫的常见用途
–宏观层面
•在互联网上寻找收集信息
•搜索引擎通过网络爬虫搜集网页的信息
•通过爬虫获取数据分析所需的大量数据
–个人层面
•爬学院、教务处通知信息
•爬淘宝、京东商品信息
•爬微博好友动态
•……
4
背景介绍
•网络爬虫的分类
–通用爬虫
•从一个或若干初始网页的URL开始，先获得初始网页上的
URL，在抓取过程中不断的从当前页面上获取新的URL放
入队列，直到满足预设的停止条件。
–聚焦爬虫
•在通用爬虫的基础上进行改进。
•通过一定的网页分析算法过滤与主题无关的链接，将有用
的链接放入等待抓取的URL队列中。
•根据一定的搜索策略从队列中选择下一步要抓取的URL进
行抓取。
5
基本原理
•网络爬虫结构框架图
互联网
DNS解析
已下载网页
网页抓取读取URL
库
待
读
取
U
获取URL
R
文档评论（0）