基于Kademlia负载平衡云存储算法.docVIP

基于Kademlia负载平衡云存储算法 　　摘要 针对采用主从式结构的主流云存储系统可能出现的性能瓶颈和可扩展问题，基于分布式哈希表（DHT技术的完全分布式云存储系统成为一种新的选择。解决好节点的负载平衡问题，是此类技术获得推广的关键。本文研究了Kademlia算法应用于云存储系统的负载平衡性能。考虑到算法在异构环境下负载平衡性能有明显下降，改进算法在Kademlia找出的候选存储节点中根据节点的存储能力来分配负载。仿真结果表明，改进后算法的负载平衡性能有非常明显的提高，在系统模拟运行时间足够长（如1500h以上时，过载节点平均下降7.0%（轻载和33.7%（重载；文件保存成功率平均提高27.2%（轻载和35.1%（重载，而增加的通信开销可接受。 　　关键词 云存储；负载平衡；分布式文件系统；Kademlia；peersim 　　中图分类号 TP311；TP393.04 　　文献标志码 A 　　0引言 　　云计算已成为当前IT行业的热门话题。作为支撑云计算的关键技术，云存储技术也越来越受到关注。云存储具有低成本、高可用性、高扩展性、高可靠性及存储细节对用户透明等特点。 　　云存储的核心实际上是通过应用软件来实现存储设备向存储服务的转变。 　　对于云存储系统来说，系统中拥有大量的存储节点，同时又有大量存储服务的要求，如何将存储服务要求合理、均匀地分配到各个存储节点，即实现负载的均衡，是云存储技术的核心问题之一。解决好这个问题，能极大地提高云存储系统的效率，在提高用户体验的同时节省大量的成本，对提高信息化水平具有重要的意义。 　　本文以基于分布式哈希表（Distributed Hash Table， DHT的完全分布式云存储系统为研究对象，重点研究将Kademlia协议应用到云存储系统的负载均衡问题，并对算法进行了改进，使其具有更好的负载均衡性能。 　　1相关工作 　　云存储系统通常是一种分布式文件系统，具体可分为具备中心服务器的主从式结构和完全分布式的对等（Peer to Peer， P2P网络结构。前者是目前主流的云文件存储系统，如Google的GFS（Google File System[1]、Hadoop的HDFS（Hadoop Distributed File System [2]等。这种主从结构的存储技术，其存储分为两部分，主服务器（一般称name node存储和管理元数据，包括文件和块的名空间、文件到块之间的映射关系及每一个块及副本在块服务器中的具体存储位置；块服务器（一般称data node则存储实际的块数据。这里主服务器起着中心节点的作用，它根据元数据信息管理系统的存储，并对处理的负载进行调整。这种模式实现简单，也比较成熟，在实际应用上也取得了成功。 　　目前研究文献中的云存储负载均衡算法大量针对此类系统。归纳一下，主要有静态和动态两类。静态的负载均衡算法主要有轮询（Round Robin、按比率（Ratio和按优先级（Priority几种；动态算法则通过动态获取节点的存储能力，并优先存储于能力强的节点。文献[3]中提出了一种自适应的综合动态负载均衡算法。算法让存储节点检测自身负载，当负载有一个跳跃变化（如从适载到过载时，就向中心服务器反馈相关信息。中心服务器根据存储节点的负载轻重维持多个队列，存储服务优先分配给轻载队列，而在同一队列中则采用轮询算法进行分配。文献[4]则对Hadoop的HDFS的负载均衡算法进行了改进，原算法只考虑了节点的空间使用率（即剩余存储能力，而新算法还考虑了其他因素，如文件大小、文件并发访问时间、访问频度、节点处理能力、带宽等。 　　在具有中心服务器的主从式结构中，由于中心服务器能掌握全局信息，所以其负载均衡算法相对比较简单。但随着存储节点、文件数量及访问请求的增加，中心节点会成为系统的瓶颈，一旦过载或遭受攻击会导致系统的崩溃，整个扩展性较差。 　　为解决这个问题，完全分布式的对等网络结构的云存储系统成为新的研究方向。对等网络是一种覆盖网络，是建立在已有物理网络上的一个虚拟层，各节点通过统一的路由协议进行通信，消息也在对等网络的逻辑连接上传递。 　　本世纪初，对等网络曾有过一波研究热潮。研究重点在全分布式结构化拓扑的对等网络。这种网络一般采用DHT技术来组织网络中的节点。DHT技术的实质是将资源和存储资源的节点通过散列函数均匀分布到同一个取值空间，每一个节点负责对应取值空间中的一小部分资源的存储，从而来实现整个DHT网络的寻址和存储。经典的DHT算法有chord[5]、Pastry[6]、Tapestry[7]、Kademlia[8]等，其中Kademlia因为效率和稳定性高、收敛速度快等原因，被广泛应用于eMule、Bitcomet、Bitspirit和