2025《互联网爬虫与文本分析研究国内外文献综述》3400字.docx

下载文档

0
0
约6.65千字
约 6页
2025-09-28 发布于湖北
举报
版权申诉
保障服务

2025《互联网爬虫与文本分析研究国内外文献综述》3400字.docx

1、本文档内容版权归属内容提供方，所产生的收益全部归内容提供方所有。如果您对本文有版权争议，可选择认领，认领后既往收益都归您。。
2、本文档由用户上传，本站不保证质量和数量令人满意，可能有诸多瑕疵，付费之前，请仔细先通过免费阅读内容等途径辨别内容交易风险。如存在严重挂羊头卖狗肉之情形，可联系本站下载客服投诉处理。
3、文档侵权举报电话：400-050-0827(电话支持时间：9:00-18:30)。

互联网爬虫与文本分析研究国内外文献综述

1.1互联网爬虫研究综述

（1）爬虫基本理论研究综述

网络爬虫，是一种根据http协议和一些明确定义的爬行策略自动获取大量网页集合的一种程序、软件或编程脚本。Udapure等（2014）[89]指出爬虫程序的体系结构由三个主要组件组成：URL边界、页面下载器和存储库。边界存储网络搜寻器必须访问的URL；页面下载器从边界中的URL检索并解析网页；最后，下载的网页存储在存储库组件中。爬虫程序从搜索引擎正在检索的网页中搜索任何可到达的URL，搜寻器找到的每个URL都放置在搜索队列中，以便以后由搜索引擎访问。对于从队列中检索到的每个新URL重复上述过程，URL