分布式文件系统多级容错机制的研究与实现-计算机系统结构专业论文.docx

I I 摘要 文件系统是任何一个操作系统的关键部分之一。它负责对系统中的各种资源 进行管理，并提供程序存储和数据存储能力。分布式文件系统 DFS（Distributed File System）不但具有传统文件系统的服务能力，而且具有资源共享、高可靠性、 高可用性、高吞吐量、高存储容量等优点。目前，DFS 已经得到了越来越多的研 究者的关注，并日益成为分布式系统研究中的热点。 DPFS（Distributed and Parallel File System）是电子科技大学 8010 研究室自 主开发的分布式并行文件系统。它与分布式调度、分布式数据库等一起构成了分 布式并行系统平台 DPLinux。作为 DPLinux 的重要组成部分，它提供了面向服务 器的分布式资源管理能力。在 DPFS 中存在多个服务器节点，每个节点逻辑上是 完全对等的，没有主从的区别。DPFS 提供完整的功能接口，并隐藏了内部的技 术实现细节，在使用上与普通的文件系统完全一致。它基于 Linux 内核设计开发， 不仅具有 Linux 服务器的兼容性和处理能力，而且具有很多 DFS 的优点。 容错机制是 DPFS 中不可缺少的重要组成部分。当 DPFS 中的节点出现故障 时，容错机制负责对故障进行检测，并最终将故障节点恢复到与其他正常节点一 致的状态。因此，容错机制是 DPFS 稳定性和可靠性的基础和保证。 本文在深入研究的基础上，阐述了 DPFS 的总体设计思想，重点讨论了 DPFS 容错部分的设计与实现。在分析了传统的分布式容错机制的不足后，本文提出一 种复合型的多级容错机制。该机制主要包括操作集自检测与恢复、实时远程容错 和日志容错三个部分。操作集自检测用于检测节点故障并保存错误信息；操作集 自恢复提供了对故障进行本地及时容错的能力；实时远程容错采用通信方式对远 程节点故障进行及时容错；日志容错机制通过日志记录和日志恢复机制负责解决 持久性故障问题。DPFS 容错部件在功能上形成了并行的三个容错级别；在执行 逻辑上优先运行效率高、开销小的容错部件；在设计上采用了同步容错设计、远 程恢复模型、日志空间索引、基于 Agent 的日志动态恢复协议等策略。既保证了 对系统故障的高容错能力，又考虑了整体性能的优化。 关键词：故障检测、本地自恢复、远程实时容错、日志容错、动态恢复协议、分 布式文件系统 II II Abstract File System is one of the linchpin upon which a successful Operating System depends. It manages all kinds of resources in the system and performs function to store programs and data. The DFS (Distributed and Parallel File System) not only retain the services supported by traditional File System, but also processes most virtues of Distributed and Parallel System, such as resources sharing, high reliability, high usability, high throughput, large storage capability, and so forth. In recent years, DFS has become one of the research hotspots in domestic and overseas study. DPFS is a Distributed and Parallel File System developed by 8010 research lab. With the Distributed Schedule Mechanism and Distributed DB system, they make up of the DPLinux (Distributed and Parallel Linux Operating System). Through a series of user interfaces, the users can easily access the DPFS without considering the details of its realization. Based on Linux kernel, DPFS is designed high compatibilit