分布式网络爬虫关键技术分析与实现.pdfVIP

分布式网络爬虫关键技术分析与实现 ——分布式网络爬虫体系结构设计 ? 一、 研究所属范围 分布式网络爬虫包含多个爬虫， 每个爬虫需要完成的任务和单个的爬行器类似， 它们从互联 网上下载网页，并把网页保存在本地的磁盘，从中抽取 URL 并沿着这些 URL 的指向继续爬 行。由于并行爬行器需要分割下载任务，可能爬虫会将自己抽取的 URL 发送给其他爬虫。 这些爬虫可能分布在同一个局域网之中，或者分散在不同的地理位置。 根据爬虫的分散程度不同，可以把分布式爬行器分成以下两大类： 1、基于局域网分布式网络爬虫：这种分布式爬行器的所有爬虫在同一个局域网里运行，通过高 速的网络连接相互通信。 这些爬虫通过同一个网络去访问外部互联网， 下载网页， 所有的网 络负载都集中在他们所在的那个局域网的出口上。 由于局域网的带宽较高， 爬虫之间的通信 的效率能够得到保证； 但是网络出口的总带宽上限是固定的，