面向多学科虚拟实验平台的高可用分布式存储系统-计算机系统结构专业毕业论文.docxVIP

独创性声明 本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得的研 究成果。尽我所知，除文中已经标明引用的内容外，本论文不包含任何其他个人或集 体已经发表或撰写过的研究成果。对本文的研究做出贡献的个人和集体，均已在文中 以明确方式标明。本人完全意识到，本声明的法律结果由本人承担。 学位论文作者签名： 日期： 年 月 日 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定，即：学校有权保 留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅。本 人授权华中科技大学可以将本学位论文的全部或部分内容编入有关数据库进行检索， 可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。 本论文属于 保密□ ，在 年解密后适用本授权书。 不保密□。 （请在以上方框内打“√”） 学位论文作者签名： 指导教师签名： 日期： 年 月 日 日期： 年 月 日 华中 科技 大学 华 中 科 技 大 学 硕 士 学 位 论 文 I I 摘 要 随着云计算时代的到来，越来越多的数据被放在云端统一向用户提供相应的服 务，如何保证数据实时在线、可服务已经成为一个重要的研究方向。目前，服务高可 用性的研究仍处在初级阶段，往往需要根据实际需求进行设计和实现，不具有通用性 和扩展性。为解决数据存储的可用性问题，提高系统的可靠性和通用性，以多学科虚 拟实验为应用需求，设计并实现了高可用、分布式、可扩展的数据存储系统。 高可用分布式的数据存储系统结合了目前主流的数据可用性保证技术，并在此基 础上对多方面的技术细节进行改进和创新。系统使用键值对的方式实现对数据的持久 化存储，使用读写控制机制和异常处理方法保证系统服务的可用性。系统具有以下的 一些特点：（1）采用一致性哈希和虚节点的数据分布模型使数据请求合理的分布到 多个物理节点，使系统的存储负载均衡化，提高系统吞吐能力；（2）设计了分布式 系统中进行数据传输和持久化的二进制协议和接口模型，定义系统内所有类型的消息 和数据实体的通信和处理规范；（3）使用最终一致性和数据可用性模型控制数据读 写过程，使可用性能够根据实际的需求进行调整，提高系统的适应能力，同时对系统 可能产生的各种异常情况进行及时处理，尽可能保证数据存取操作的成功；（4）提 供节点间进行状态同步和信息交换的相关协议和机制，使得系统内多个物理节点之间 能够协同服务，避免部分节点失效对系统服务的可用性造成影响，同时也对系统提供 扩展性方面的支持。 在充分研究可用性理论和调研开源高可用存储解决方案的基础上，实现了该系 统。实际运行状况和相关测试表明，系统至少能保证 98%的数据存储服务可用性，并 且提供良好的扩展能力。 关键词：高可用存储， 一致性哈希分布，最终一致性，分布式状态同步 II II Abstract In Cloud-Computing era, more and more data are placed in a unified location that provides service to end user. How to keep data always online has become an important research view. Currently, the research on high available service is still in its early stage, the technology and implement vary from system to system. To improve the availability of data, and meet the need of multi-discipline virtual experiment platform, a highly available and scalable distributed storage system has been designed and implemented. The distributed data storage system of high availability refers to the popular technologies of high available storage. And some of technologies which are not suitable for the trend of storage are improved and innovated. The system uses key-value maps to store data for persistence, and handles