GiPS系统设计与实现.docVIP

GiPS系统设计与实现 赵俊彦 闫梦龙 郭辉 摘要：GiPS是一个面向数据密集型应用的分布式文件系统，整个系统由Master节点、Data节点和客户端组成。它屏蔽了操作系统和硬件的异构性，具有一定的容错性和可扩展性。整个系统的设计，参考了GFS和Hadoop系统的架构，使用ICE和C++进行实现。 引言 GiPS是一个面向数据密集型应用的分布式文件系统，整个系统由Master节点、Data节点和客户端组成。它屏蔽了操作系统和硬件的异构性，具有一定的容错性和可扩展性。整个系统的设计，参考了GFS和Hadoop系统的架构，使用ICE和C++进行实现。 背景 系统设计 3.1 系统架构 系统的总体架构图如图1所示： 图 1 GiPS系统架构图 在GiPS系统中，文件的存储和组织是以块为单位的。1个文件可以由多个块组成，1个块只存储1个文件的内容。在设计这个系统时，我们假设Master是不易出错的，而数据节点因为频繁的I/O操作，容易发生错误。 系统由Master节点、Data节点和客户端组成。Master节点负责维护文件系统的全局元数据、文件目录结构、文件的块信息；数据节点储存文件块，维护本地文件目录；客户端则是对文件系统的访问接口。 3.2 系统功能 3.2.1 完整性检查 在文件系统第一次启动或是Master出现故障重新恢复时，系统进入安全模式状态，开始初始化。系统中的数据节点向M