分布式web crawler系统分析与实现-analysis and implementation of distributed web crawler system.docxVIP

目 录摘 要IAbstract II第一章 绪论 11.1 引言 11.2 国内外的研究现状 11.3 论文的目的和意义 31.4 论文的内容与组织结构 3第二章 搜索引擎相关理论 52.1 搜索引擎简介 52.2 搜索引擎的发展历史 62.3 搜索引擎的主要需求 72.4 搜索引擎的系统组成 82.4.1 Web 信息的搜集 92.4.2 对搜索信息的预处理 102.4.3 信息查询服务 112.5 本章小结 11第三章 爬虫系统基本原理 123.1 超文本传输协议 123.2 爬虫系统雏形 143.3 通信信道的建立 163.4 发送请求和接受数据 173.5 解析 HTML183.6 本章小结 19第四章 分布式 Web Crawler 核心技术204.1 网页抓取优先策略 204.1.1 深度优先策略 204.1.2 广度优先策略 224.1.3 最佳优先策略 234.2 万维网的直径 234.3 网页重要性判定 244.4 不重复抓取策略 254.4.1 基于 B-树的算法254.4.2 基于哈希的算法 264.5 网页重访策略 294.6 Robots 协议 324.7 本章小结 33第五章 分布式 Web Crawler 系统设计 34分布式 Web Crawler 系统结构设计 34Web Crawler 抓取基本流程设计 355.3 分布式 Web Crawler 合作抓取算法设计 365.4 系统分布式实现策略 375.4.1 系统分布式体系结构 375.4.2 系统分布式实现过程 395.4.3 系统回调实现 415.5 大规模网页存储结构设计 435.5.1 传统网页存储结构 435.5.2 改进后的网页存储结构 435.6 本章小结 45第六章 分布式 Web Crawler 系统实现466.1 系统主要功能模块 466.1.1 网页静态分析模块 466.1.2 网页抓取模块 486.1.3 分布式 RMI 模块506.1.4 URL 动态分配模块526.2 系统运行界面 536.2.1 添加种子站点 536.2.2 开启爬虫服务器和客户端 536.2.3 开始抓取任务 566.2.4 抓取结果 576.3 系统评价 586.3.1 系统运行环境 586.3.2 性能评价 596.3.3 可扩展性评价 606.3.4 任务负载均衡评价 606.4 本章小结 61第七章 总结与展望 627.1 本文所做的工作 627.2 进一步的工作和展望 62参考文献 63致谢 65个人简历、在学期间发表的学术论文与研究成果 66第一章 绪论引言信息的生产、传播、搜集与查询是人类最基本的活动之一。考虑以文字为载体的信息， 传统上有图书馆、相应的编目体系和专业人员帮助我们很快找到所需的信息，其粒度通常 是“书”或者“文章”。随着计算机与信息技术的发展，有了信息检索(Information Retrieval， IR)学科领域，有了关于图书或者文献的全文检索系统，使我们能很方便地在“关键词”的 粒度上得到相关的信息。万维网(World Wide Web，简记为 WWW 或 Web)的出现，以其开放性和其上信息广泛的 可访问性极大的鼓励了人们创作的积极性。www 的特性给传统 IR 带来了新的发展机遇和 技术挑战。传统 IR 的规模一般是相对有限的，而且被检索的对象通常是经过认真筛选和预处理的。 其响应的查询数量通常都不会太大。而作为 web 上提供服务的信息查询系统(这里指搜索引 擎)无论是在规模上还是在响应时间上与传统 IR 都是大不相同的。搜索引擎面对的是大规 模的信息(信息蜂拥而至，有些甚至是鱼目混珠)，而且必须具备同时对付大量访问的能力， 在这个前提下仍然要要有快速的响应时间。搜索引擎是在传统 IR 基础上发展而来的适应 web(或者说是 www)特点的提供信息查询 服务的应用系统。给搜索引擎的一般定义就是一种 web 上应用的软件系统，它以一定策略 在 web 上搜集和发现信息，在对信息进行处理和组织，最后为用户提供 web 信息查询服务。搜索引擎这样一个软件系统应该是何种工作方式？如果说软件系统工作是工作在某个 数据集合上得话，这个软件系统操作的数据不仅包括内容不可预测的用户查询，还要包括 在数量上动态变化的海量网页，并且这些网页不会主动送到系统来，而是需要由系统去抓 取。然而面对大量的用户查询，不可能每来一个查询，系统就到网上“搜索”一次。所以， 大规模搜索引擎服务的基础应该是一批预先搜集好的网页[1]。因此，网页搜集器又称 Web 爬虫(Crawler)作为搜索引擎的首要组成部分，是首要研究 的对象。和航天运载火箭系统的动力系统一样，Web 爬虫是搜索引擎大