P2P系统中基于DHT文件存储与复制策略设计.docVIP

P2P系统中基于DHT文件存储与复制策略设计 　　摘要：基于一个具有良好扩展性与通用性的DHT文件存储和共享系统，结合传统的数据复制技术，在充分考虑P2P网络的异构性前提下，设计了一种自组织的文档存储策略和一种结合节点综合性能的自适应的最多请求者与最近最少访问相结合的复制策略。这两种策略结合使用，能够保证文档存储的可靠性、共享信息的高效可用性，并可自动调整网络的负载平衡状况，保证网络的可扩展性与稳定性。 　　关键词：DHT；存储策略；复制策略；异构性；负载平衡 　　中图法分类号：TP311文献标识码：A 　　文章编号：1001－3695(2006)09－0081－04 　　 　　典型的P2P系统是一种大规模、高度动态、无集中控制的自治系统。DHT结构作为第二代P2P网络的研究热点，具有较高的可靠性和可扩展性，可以为大量的应用提供支持。构建于DHT之上的分布式应用具有内在的安全性、健壮性、可扩展性和负载平衡等优点。已经出现了若干种分布式哈希表的结构，如CAN，Tapestry，Pastry，Chord[1]，Viceroy，Ulyess，Kademlia以及北京大学的燕星系统[2]等，但这些系统都是基于单一DHT结构的，通用性和可扩展性较差。 　　复制技术在分布式文件存储与共享系统中有着广泛的应用和重要的位置。在P2P系统中常用的传统复制技术包括所有者复制、路径复制和随机复制。文献[3~6]分别提出了几种优化的复制策略，但在实际的P2P系统中，现有的复制技术还不是那么有效[7]，还没有更好的适应P2P系统特点的算法被提出。许多对已有P2P应用系统的测量工作[8]表明，P2P系统具有高度的动态性和异构性，节点对数据的查询频率服从Power??law分布。传统的复制技术没有充分考虑P2P系统的这些特点，导致系统的可扩展性差、负载不均衡、网络的稳定性不好等问题。本文在传统复制技术的基础上，充分考虑了P2P系统的动态性、异构性及查询频度分布问题，设计了一种自组织的文档存储策略和一种结合了节点综合性能的自适应的最多请求者与最近最少访问性结合的复制策略。这两种策略结合使用能够保证文档存储的可靠性、共享信息的高效可用性，并可自动调整网络的负载平衡状况，保证网络的可扩展性与稳定性。?? 　　 　　1研究背景及设计前提?? 　　 　　1．1P2P网络的异构性?? 　　Saroiu等人的论文[8]中讲述了对Napster进行的四天的测量和对Gnutella进行的八天的测量工作。从此项研究中可以得出这样的结论：极端异构性是P2P网络的重要特征。这种异构性存在于P2P系统的各个方面，如节点的地理位置分布、节点的带宽、节点的延迟、节点的活动时间、节点间通信会话时间、节点共享的资源、用户的查询和请求等，并且节点的各种性能差异基本上符合Power??low分布。低性能节点在网络中广泛存在，尽管这些低性能节点对系统的共享很小，但是大量的低性能节点会对系统的可用性和稳定性产生影响。如果低性能节点处于路由热点或访问热点位置时会造成网络的不稳定和时延的增长。所以在系统设计、分析和实现时，必须要对这种异构性有足够的认识和考虑。?? 　　 　　1．2通用DHT文件存储和共享系统的框架?? 　　目前基于DHT的应用系统都是基于单一的DHT，不具有可扩展性和通用性。为了使文件存储和共享系统适用于任何DHT结构，我们设计了一个通用文件存储与共享系统。?? 　　该系统的框架结构如图1所示，它分为本地存储层、网络传输层、DHT管理层、通用DHTAPI层、对象存储抽象层以及应用层。本地存储层主要负责本地机器的内存和外存管理；网络传输层提供网络连接的抽象；DHT管理层支持系统同时使用多种协议，并提供对不同协议的配置的抽象接口；通用DHTAPI是对各种不同的DHT协议的抽象；对象存储层为上层应用提供了一个统一的对象存储机制。?? 　　由于使用了多层结构且各层间是松散耦合的，所以这个系统具有良好的通用性和可扩展性。?? 　　文中所设计的存储和复制策略将应用于上述的对象存储抽象层。?? 　　 　　1．3相关定义和工作的前提?? 　　定义1节点的综合性能C――它是节点的一个性能参数。C与节点在网络中的活动期Ta、节点的网络带宽B、CPU性能U、内存容量M、贡献的存储能力S有关，且规定?? 　　C=ωC(B,Ta,U,M,S)（ω为常数）?? 　　本文认为仅有某个性能突出的节点并不是高性能的节点，只有上述各性能相互协调达到一定的标准才是高性能的节点。由于节点的各个性能可能会发生动态变化，所以节点的综合性能C也是动态变化的。?? 　　定义2文档――它是P2P系统中的最小存储单元，是永久性存储对象。只有文档的所有者拥有修改权限，其他访问者只有读权限