分布式海量数据储存系统负载均衡算法的优化设计与实现-无线电物理专业论文.docx

万方数据 万方数据 DESIGN AND IMPLEMENTATION OF LOAD BALANCING ALGORITHM IN A DISTRIBUTED MASS DATA STORAGE SYSTEM A Master Thesis Submitted to University of Electronic Science and Technology of China Major: Radio Physics Author:Xu Junhong Advisor:Yang Xuesong School :Physical Electronics 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工 作及取得的研究成果。据我所知，除了文中特别加以标注和致谢的地 方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含 为获得电子科技大学或其它教育机构的学位或证书而使用过的材料。 与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明 确的说明并表示谢意。 作者签名： 日期： 年 月 日 论文使用授权 本学位论文作者完全了解电子科技大学有关保留、使用学位论文 的规定，有权保留并向国家有关部门或机构送交论文的复印件和磁 盘，允许论文被查阅和借阅。本人授权电子科技大学可以将学位论文 的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或 扫描等复制手段保存、汇编学位论文。 （保密的学位论文在解密后应遵守此规定） 作者签名： 导师签名： 日期： 年 月 日 摘要 摘 要 信息社会给人们带来便利的同时也产生了大量的数据，关系型数据库由于其 架构缺陷不适用于处理大数据。目前比较常用的存储和处理海量数据的系统是是 NoSQL(Not only Structured Query Language)数据库。显然，如何协同这些独立的计 算机高效地完成任务是十分重要的，这就是负载均衡的作用。负载均衡是既定硬 件架构下整个系统性能的关键，近些年来随着云计算的兴起迅速成为研究热点。 论文在研究了常用的 NoSQL 系统和负载均衡技术的基础上，设计了一种新的 负载均衡算法。这种算法综合利用了大数据处理系统本身的特点，具有较好的性 能。同时该算法还能在最优节点已经被占用的情况下迅速找出次最优节点等，非 常适合用于高并发系统的负载均衡。由于内存比磁盘的寻道速度大约快十万倍， 为了提高响应速度，人们总是希望将尽可能多的数据由磁盘提前加载进入内存。 但内存容量比磁盘小很多，因此内存容量往往成为大数据处理系统的瓶颈。为了 提高内存的使用效率，本文提出了一种类似内存池的方法来重写管理内存分配的 配置器，使内存的有效使用率得到了很大的改善。本文的主要工作包括： 首先，研究了常用的 NoSQL 数据库和负载均衡算法，设计和实现了一个效率 较高的负载均衡算法。通过引入节点与兄弟节点的子节点的关系，并辅之以旋转 操作，有效降低了整棵排序二叉树的高度，使算法的时间代价从常用的加权轮询 算法的 O(N) 降为 O(logN) ，而空间代价保持在 O(N) 不变。论文中除了提供算法实 现的伪代码以外，还对算法进行了分析并提供了流程图，可以根据流程图方便地 移植到其他相似的系统中。 配置器负责内存的分配和回收，默认的配置器具有效率不高、易产生内存碎 片等弱点。本文通过采用内存池的思想优化了配置器，通过一次性从内核申请较 大的内存并自己维护，提高了内存分配和使用的效率。此外，还根据不同的场景 实现了多种配置器，并实现了配置器的参数化设置，使配置器可以根据使用场景 通过脚本实现不同的配置，从而可以动态地对系统进行调节。 最后，搭建了测试环境，并对该算法和内存优化进行了测试并对全文进行了 总结和展望。 关键词：非关系型数据库，内存优化，负载均衡 I ABSTRACT ABSTRACT Information Society brings great convenience to people, at the same time produces large amounts of data. Due to its structure defects, the traditional relational databases do not appropriate for the processing of large data. The commonly used distributed massive data storage system is the NoSQL (Not only Structured Query Language) database. The distributed system is composed of a pl