整个系统由Master节点.PPTVIP

GiPS Proposal 赵俊彦 闫梦龙 郭辉 Contents Introduction GiPS是一个面向数据密集型应用的分布式文件系统，整个系统由Master节点、Data节点和客户端组成。它屏蔽了操作系统和硬件的异构性，具有一定的容错性和可扩展性。 整个系统的设计，参考了GFS和Hadoop系统的架构，使用ICE和C++进行实现。 Design Architecture Assumption 在GiPS系统中，文件的存储和组织是以块为单位的。1个文件可以由多个块组成，1个块只存储1个文件的内容。在设计这个系统时，我们假设Master是不易出错的，而数据节点因为频繁的I/O操作，容易发生错误。 System Fuction(1) 完整性检查 在文件系统第一次启动或是Master出现故障重新恢复时，系统进入安全模式状态，开始初始化。系统中的数据节点向Master节点发送接入请求，Master将这些节点作为初始成员，建立文件系统。Master读取元数据文件，检查文件的完整性，包括：（1）1个文件的所有块都至少有1个副本，如果有的块的所有副本都不存在，则该文件标记为损坏；（2）在没有损坏的文件中，1个文件的所有块都有规定数量以上的副本，如果副本数目小于系统设定的阈值，则在现有的数据节点中，选取节点进行冗余备份。经过以上两步之后，系统初始化完成，开始提供文件服务。 System Fuction（2） 文件操作 提供对文件和目录的创建、移动、重命名、删除等操作；提供对文件的流式读写操作。 System Fuction（3） 容错性 系统具有一定的容错性。在读写文件发生错误时，系统会选取新的数据节点完成读写操作；当系统中的某个数据节点发生当机的情况时，系统会尽可能维持文件的完整性。 Module(1) Master节点 全局元数据维护。包括节点信息，如节点id，硬盘、内存使用情况；文件目录；文件块信息，包括用户文件分块情况，块文件在数据节点中存储文件名的映射。 文件完整性检查。包括系统启动时的完整性检查，数据节点故障时系统完整性的维护。 选择合适的数据节点进行块备份操作。 针对文件读操作，返回读取文件的块表给客户端。 针对文件写操作，选取合适的数据节点备份文件块，将节点信息返回给客户端 系统动态维护。处理节点的加入和退出。 日志功能。 Module(2) Data节点 向Master节点发送自身状态信息 维护自身文件目录 处理客户端的块读写请求 日志功能 Module(3) Client 文件和目录的创建、移动、重命名、删除等操作和流式读写操作接口 GiPS GiPS Summary Module System Function Design Introduction GiPS