分布式文件系统的负载均衡策略分析-analysis of load balancing strategy of distributed file system.docxVIP

独创性声明本人声明所呈交的学位论文是本人在导师指导下进行的研究工作 及取得的研究成果。据我所知，除了文中特别加以标注和致谢的地方 外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含为 获得电子科技大学或其它教育机构的学位或证书而使用过的材料。与 我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的 说明并表示谢意。作者签名：日期：年月日论文使用授权本学位论文作者完全了解电子科技大学有关保留、使用学位论文 的规定，有权保留并向国家有关部门或机构送交论文的复印件和磁盘， 允许论文被查阅和借阅。本人授权电子科技大学可以将学位论文的全 部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描 等复制手段保存、汇编学位论文。（保密的学位论文在解密后应遵守此规定）作者签名：导师签名： 日期：年月日摘 要分布式文件系统从最初的网络文件系统发展至今，逐渐形成现阶段的云存储。 它是在云计算（Cloud Computing）概念上延伸和发展出来的一个新概念。在大集 群、动态的分布式文件系统中，随着文件数量、文件访问次数的增加，中心节点 将成为整个系统的性能瓶颈。因此，减少中心节点在分布式文件系统中的依赖性 是很重要的问题。此外，还有一种基于分布式哈希表（DHT）的分布式文件系统， 其中不存在中心节点，并且文件根据 DHT 算法，均匀分布于系统中。但是，伴随 着文件修改、热点出现，系统将无法保持负载均衡状态。负载均衡在分布式文件 系统中是很重要的问题。系统负载状态影响着集群存储利用率和网络吞吐量。同 时，已均衡的集群能够有效避免热点的出现，提高系统响应速度。因此，本论文 将对基于 DHT 的分布式文件系统负载再均衡问题进行深入的研究。通过对现有负载再均衡算法研究与分析，其执行过程中，由于负载信息获取的局部性，导致在数据迁移过程中出现抖动的现象，并且数据迁移过程中会导致 额外高负载节点的出现，从而影响负载均衡效率。因此，本论文通过扩大随机样 本节点的个数，使计算出的估计值更加贴近实际值；在选择后继节点的过程中， 采取双向延伸的方式，找出满足条件的后继节点，以此减少多余的数据迁移操作。 该算法有效地解决了抖动现象的发生，避免了额外高负载节点的出现。同时，副本管理和节点选择也是分布式文件系统中的重要问题。文件系统中 的副本分发策略与 DHT 算法中的文件分发策略不兼容。本论文通过采用软链接方 式将副本存放位置重定向，保证两种策略的兼容。结合负载再均衡算法提出节点 选择策略，避免数据迁移过程中，多个低负载节点同时选择同一个高负载节点的 冲突问题。在负载均衡算法的应用中，使用 Space-filling Curve 将节点物理位置与 逻辑位置对应起来，同时利用节点容量使用率将异构节点集群转换为同构集群。综上所述，本论文提出一种 ILR（Improved Load Rebalancing）算法。采用 Matlab 数学软件和 Chord 仿真程序对分布式文件系统的负载均衡算法进行实验仿 真。仿真实验生成数据后，将本论文提出的 ILR 算法与现有的负载在均衡算法从 累积分布函数、节点负载状态、数据迁移次数和负载信息交换次数四个方面进行 比较与分析。结果验证了 ILR 算法的有效性。关键词：分布式文件系统，DHT，负载均衡，Chord，ILR 算法ABSTRACTDistributed File System gradually develops to Cloud Storage from initial Network File System. Cloud Storage is a new formed and extended concept of Cloud Computing. In the large cluster and dynamic cloud storage system, the central node will become the performance bottleneck of the entire system, as the increased number of files uploading and file access. Therefore, it has been an important issue to reduce the dependency of the central node in a distributed file system. Recently, it is concerned on the distributed file system based on DHT because of the feature of non-center node. But it cannot