结构化p2p中节点的负载不均衡.docxVIP

结构化p2p中节点的负载不均衡 0 基于网络定位的负载均衡算法 p2p是一个分布系统，参与者共享他们拥有的资源。这些共享资源可以直接访问其他节点，而不需要经过中间节点。网络中的参与者既是资源(服务和内容)提供者,又是资源(服务和内容)获取者。P2P技术使得网络上的沟通变得更容易、更直接。P2P改变了目前Internet以太网站为中心的状态,重返非中心化,并把权利交还给用户。 P2P系统一般分为非结构化和结构化两种。近年来,基于DHT的结构化P2P系统以其严格的节点组织规则,良好的容错能力、可扩展性和查找速度等,得到了广泛的应用(如Chord、Pastry、Tapestry和CAN)。 结构化P2P系统利用相容hash函数把资源关键字随机分配在各对等节点中,从而各节点以很高的概率分配到相同数目的关键字。文献表明这种情况下,一个节点所负责的关键字数可能是其他节点的O(logN)倍(N是系统的总节点数)。另外,它们假设系统各节点的能力是一样的。但文献表明P2P系统中各节点的能力(CPU处理能力、存储能力、网络连接能力等)有很大的差异。所以必须进行负载均衡,使能力强的节点处理更多的任务。 本文针对以上问题,以Chord算法为基础,提出了基于网络定位的负载均衡算法。算法利用网络定位技术产生系统中各节点的距离信息,使负载在物理位置相近的节点间进行转移,从而最小化带宽和延迟的消耗,达到快速有效转移负载的目的。该算法由负载较轻的节点负责主要的负载转移操作,节省了过载节点的资源,提高了负载转移质量。 1 节点负载均衡 现有的负载均衡算法,有的忽略了系统中节点负载能力的差异;有的在负载转移时,没有考虑节点间的位置关系;有的增加了系统的复杂性,减小了容错能力。 文献没有考虑节点能力的差异,给每个DHT节点都分配O(logN)个虚拟服务器试图解决负载均衡问题。但根据经典球盒问题(balls and bins problem),这种方案下一些节点的负载可能是其他节点的O(logN/loglogN)倍,所以单纯依靠虚拟服务器并不能完全解决这个问题。CFS根据节点本身的能力来分配虚拟服务器,考虑到了节点能力的差异。当一个节点过载时简单地删除它的部分虚拟服务器。此算法在删除过载节点的服务器时可能引起其他节点过载,过载节点需再次删除虚拟服务器,从而使系统不稳定,收敛时间过长。 文献提出了三种简单的负载均衡算法:一对一、一对多、多对多。算法的基本思想是过载节点转移虚拟服务器给非过载节点。在一对一方法中,非过载节点随机选择一个节点进行探测,当发现被探测节点是过载节点时转移虚拟服务器到本节点。在一对多和多对多方法中,系统有d个目录服务节点用来保存节点的负载信息,由目录服务节点生成负载转移策略。文献扩展了一对多和多对多模式,使算法适应了动态P2P系统。然而,此算法在过载与非过载节点间转移虚拟服务器时,并没有考虑它们之间的位置相近关系,负载转移需要消耗过多的带宽和延迟。 文献在结构化P2P系统之上再建立一个结构(k-nary树),由k-nary树收集系统负载信息并生成虚拟服务器转移策略。此算法考虑了节点之间的距离相近性,但是复杂化了P2P系统的覆盖网络,使系统容错能力有所下降;同时,系统某些节点(如k-nary树的根节点)的失效将产生单点失败问题。 文献中每个资源关键字hash到d(d≥ 2)个不同的IDs上,然后在其中选择负载最轻的节点存放资源的索引,而其他d-1个节点只存放指向这个索引的索引。仿真实验表明,算法在d=O(logN)时,能达到最优的负载均衡效果,但没有考虑系统在动态环境下对算法的影响。 2 系统负载的确定 本算法主要针对基于DHT的大规模P2P计算网络,网络中的每一项资源都给系统造成相应的负载(存储空间、CPU计算时间和带宽等)。作如下合理的假设:a)系统中只有一种瓶颈资源;b)在负载均衡算法运行期间各虚拟服务器的负载不变。 2.1 相关概念 1 物理dct节点 本算法利用了虚拟服务器。虚拟服务器的概念在Chord/CFS中作为一种负载均衡的方法被提出。一个虚拟服务器相当于一个DHT节点,并负责一块连续的ID空间。而一个物理DHT节点可以拥有m个虚拟服务器,所以一个物理节点对应的ID空间可能是非连续的。 DHT节点之间以虚拟服务器为单位进行负载转移。当某个物理节点过载时,该物理节点对应的一个或多个虚拟服务器将被转移到非过载节点上。同时,虚拟服务器的转移可以由DHT的离开和加入操作来实现,无须引入新的操作。利用虚拟服务器可以很方便地在任意两个节点之间进行负载转移。 2 基于网络定位的dct 如今,网络定位算法已经广泛应用于产生因特网节点间的物理位置信息。网络定位算法分为两种,即基于基础设施的(infrastructured-based)和不基于基础设施