大规模对等搜索应用研究.pdf

摘要 摘 要 对等(P2P)计算模型的出现启迪了很多高效的大规模分布式应用的构建。 由于P2P模式具有低成本、自组织、鲁棒性、可扩展、隐私保护等优点，已成为 构建大规模互联网应用的良好架构。自从P2P技术诞生以来，P2P应用越来越普 及，无数用户开始利用P2P技术在互联网上共享资源。 区别于传统的集中式信息系统，基于P2P架构的信息共享系统，如P2PWEB、 基于P2P的WIKI系统等，带来了新的挑战：由于P2P系统的完全分布式特点， 高效的分布式资源搜索成为首要的难点；同时，基于P2P模型自主公平的原则， 用户需要一种公平交换的方式进行信息共享，而在P2P环境中缺少可信第三方的 条件下公平交换是非常困难的。 针对上述问题，本文研究采用复制策略和缓存策略来提高大规模对等搜索的 性能，并且提出了对等网络环境下无需专用1vrP的公平交换协议。主要贡献包括t 1．提出一种基于复制策略的概率穷尽搜索P2P系统RPXS。首先分析了穷 尽搜索概率模型，证明了随机复制策略具有最优的搜索成功率，通过将优化数量 的副本随机复制到无结构P2P网络中，能够以高概率保证穷尽搜索；分析结果还 表明复制策略的成本取决于网络的规模。基于穷尽搜索概率模型设计了一种混合 式P2P结构——RPXS，成功解决了随机复制问题。RPXS通过构建一个轻量级的 分布式哈希表(DHT)子系统提供网络规模估计和随机结点子集选取服务，基于此 服务，RPXS复制数据项／查询到网络中的随机结点子集，从而有效实现了概率穷 尽搜索。分析表明RPXS具有合理的系统开销，非常适合大规模P2P网络环境下 的文本搜索应用。全面的模拟实验结果表明RPXS能够以较低的消息开销获得接 近优化的搜索成功率和较好的容错性。 2．为了进一步降低资源搜索的成本，本文提出了基于副本网络的多命中查 询策略。设计多种策略关联副本，使得同～资源的不同副本之间相互感知，并通 过数学分析和实验确定相关参数，针对不同的资源分别构建逻辑上的副本网络。 查询请求命中副本网络中任-lJJ本，通过副本关联信息可以容易地访问其它副本， 从而能够有效获得多命中查询。所提出的副本管理策略可与RPXS相结合，从而 实现低开销的穷尽搜索。 摘要 3．提出一种兴趣感知的缓存策略用于提高资源搜索的性能。资源结点广告 资源信息，其它结点接收资源广告信息，并根据该广告信息对当前结点的可用潜 能确定是否缓存该信息。设计了基于GOSSIP的资源广告算法，采用布隆过滤器 来表示结点的兴趣，并提出了可用潜能的量化方法。实验结果表明所提出的缓存 策略显著提高了无结构对等网络的搜索性能。 4．提出一种基于采样网络上随机游走的结点采样算法。分析了结点采样的 参数设置，基于此分析提出了采样网络构建算法和基于随机游走的采样算法。模 拟实验结果表明，所提出的结点采样算法具有低消息开销、低时延和低偏差的优 势。结点采样算法能够用于解决公平交换中分布式TTP构建问题。 5．提出一种P2P环境下的无需专用可信第三方(TTP)的公平交换协议 P2PFair。通过交易双方共同选择系统中的n个随机结点合成一个分布式的可信第 三方提供交换的公平性保证；采用基于身份的加密算法(IBE)保证交易内容的 私密性；采用门限机制防止TTP中结点的合谋，并且提供了系统对结点失败的容 错功能。详细的分析表明，所提出的方案能够解决P2P环境下，无需专用TTP进 行公平交换的问题。 本文的研究成果能够有效提高大规模对等资源搜索的性能，并且丰富了对等 网络中资源共享的模式。 关键词：对等计算，无结构P2P，资源搜索，分布式哈希表 Ⅱ Abstract Abstract The modelhasbeen emerging peer-to—peer(P2P)computingmotivatingmany scaledistributed inrecent tothe suchaslow large