基于JXTA的P2P搜索引擎研究与实现-计算机应用技术专业论文.docxVIP

RESEARCH AND IMPLEMENTATION OF P2P SEARCH ENGINE BASED ON JXTA A Dissertation submitted in fulfillment of the requirements of the degree of MASTER OF PHILOSOPHY from Shandong University of Science and Technology by Sun Saisai Supervisor: Professor Meng Xiaojing College of Information Science and Engineering May 2007 声 明 本人呈交给山东科技大学的这篇硕士学位论文，除了所列参考文献和世所 公认的文献外，全部是本人在导师指导下的研究成果。该论文资料尚没有呈交 于其它任何学术机关作鉴定。 硕士生签名： 日 期： AFFIRMATION I declare that this dissertation, submitted in fulfillment of the requirements for the award of Master of Philosophy in Shandong University of Science and Technology, is wholly my own work unless referenced of acknowledge. The document has not been submitted for qualification at any other academic institute. Signature: Date: 摘 要 搜索引擎解决了用户搜索信息的难题。但是，由于传统搜索引擎采用集中式架构， 还存在许多问题，如服务器故障、存储容量有限、以及存储链接不能及时更新等，严重 影响了搜索引擎的性能。 P2P 技术具有分布式、动态性、可扩展性的特点。P2P 技术应用于搜索引擎，给搜 索引擎的发展带来了新活力。 论文主要探讨一种将 P2P 的新理念和技术优势引入搜索引擎系统的方式，主要研究 内容和解决的问题包括： (1) 由于现有的 P2P 应用程序均采用从底层开发的方式，没有共同的标准，彼此 间无法相互兼容。因此，设计系统时选择了 SUN 公司的通用开发平台——JXTA 作为 P2P 网络的开发标准，在 JXTA 协议基础上构建了基本的 P2P 通信网络。 (2) P2P 网络中的资源发现是一个难点。实现时采用 IP 多播进行防火墙内的多播 搜索，采用 HTTP 实现穿越防火墙的搜索。同时定义了“搜索”对等组，提供组成员资 格服务，并将通信流量限制在对等组范围内，避免网络通信流量不必要的扩散。 (3) 加入二次排序模块，将来自多个对等体的检索结果汇总排序后显示给查询用 户。考虑到 P2P 系统动态特性以及用户需求特性，以 Lucene 评分机制为前提，提出了 二次排序评分机制以适应 P2P 网络搜索的特点。 (4) 定义了位于 P2P 网络之上的对等组管理服务、管道通信服务、消息管理服务、 内容下载服务以及本地资源管理服务，设计了便于用户操作的应用界面，从而构建了一 个完整的基于 JXTA 的 P2P 搜索引擎系统。 最后，论文给出了系统实现方案，在局域网环境内对系统进行了测试与分析。实践 证明，系统能够有效的挖掘网络边缘计算机中的信息，充分利用边缘计算机的计算与存 储能力，具有较高的实用价值和推广前景。 关键词：搜索引擎，P2P，JXTA，Lucene Abstract Search engine solves the difficult problem of searching information. However, because traditional search engine adopts centralized mode, some problems still exist, such as server failure, limited storing capacity and outdated links that are not upgraded in time, which seriously affect performances of search engine. P2P has characteristics of distribution, dynamics and scalability. That P2P technology is to be applied into search engine brings new en