分布式存储系统的管理系统的设计与实现-计算机技术专业论文.docx

上海交通大学硕士学位论文摘要 上海交通大学硕士学位论文 摘要 万方数据 万方数据 分布式存储系统的管理系统的设计与实现 摘 要 大规模分布式存储系统具有高可扩展性、高可用性等优点，已成为 存储领域的研究和发展方向，在各大互联网公司和企业数据中心都有着 广泛的应用。由于分布式存储系统规模庞大，功能复杂，完善的管理系 统则是实现存储系统可管理、高可靠运行的重要前提。 BlueOcean 是我们实验室设计开发的基于对象存储的大规模分布式 文件系统，其架构类似于 Google File System，它由一个元数据结点，一 个备份结点（可选），多个数据结点和若干个客户端组成。其中元数据 结点主要用于管理文件元数据信息，并负责负载均衡和租约管理等；数 据结点负责保存数据，并以线程池的方式高并发处理来自客户端的 I/O 请求；客户端为应用程序提供 POSIX 接口，其内部采用了单线程异步 事件驱动的框架，与元数据结点进行元数据交互，与数据结点进行数据 交互。 本文基于 BlueOcean 分布式文件系统。研究了在设计与实现管理系 统过程中需要解决的关键技术问题，提出了相应的解决方法，并详细描 述了其管理系统的设计细节。本文的主要工作包括： (1)深入分析和研究现有的分布式文件系统； (2)分析实验室开发的 BlueOcean 分布式文件系统的总体架构及其 各类结点的内部实现细节； (3)分析了在设计 BlueOcean 分布式文件系统的管理系统的过程中 所遇到的关键问题，并针对这些问题提出了相应的解决方案； 第 I 页 (4)全面描述了 BlueOcean 分布式文件系统的管理系统的设计细节， 并展示了其功能和使用效果。 本文设计的 BlueOcean 分布式文件系统的管理系统具有易配置、易 监控、易管理的优点。论文的成果对其他分布式存储系统的管理系统的 设计也具有较好的借鉴作用。 关键词：分布式存储系统，管理系统，配置管理，状态监控 第 II 页 上海交通大学硕士学位论文AB 上海交通大学硕士学位论文 ABSTRACT DESIGN AND IMPLEMENTATION OF MANAGEMENT SYSTEM FOR DISTRIBUTED STORAGE SYSTEM ABSTRACT The large-scale distributed storage system, which has the advantages such as high scalability, high availability, has become the direction of research and development in the storage area, and is also widely applied in major Internet companies and enterprise data centers. Because the distributed storage system is large-scale and has complex functions, the perfect management system will be an important prerequisite to assure that the storage system to be managed easily and run reliably. BlueOcean is a large-scale distributed file system designed and developed in our laboratory, and it is also an object-based storage system. Its architecture is similar to Google File System, which consists of a metadata node, a backup node (optional), multiple data nodes and several clients. Metadata node is mainly used to manage file metadata information, and is responsible for load balancing and lease management; backup node will take over metadata node, when metadata node is out of service (such as power-down, or blocked network), and ensure th