分布式文件系统容错机制的研究与实现-计算机系统结构专业论文.docx

万方数据 万方数据 分类号 密级 UDC 学 位 论 文 分布式文件系统容错机制的研究与实现 （题名和副题名） 许 敏 （作者姓名） 指导教师姓名 任立勇 副 教 授 电子科技大学 成 都 （职务、职称、学位、单位名称及地址） 申请学位级别 硕士 专业名称 计算机系统结构 论文提交日期 2012.03 论文答辩日期 2012.05 学位授予单位和日期 电子科技大学 答辩委员会主席 评阅人 年 月 日 注 1 注明《国际十进分类法 UDC》的类号 万方数据 万方数据 独 创 性 声 明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作 及取得的研究成果。据我所知，除了文中特别加以标注和致谢的地方 外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含为 获得电子科技大学或其它教育机构的学位或证书而使用过的材料。与 我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的 说明并表示谢意。 签名： 日期： 年 月 日 论文使用授权 本学位论文作者完全了解电子科技大学有关保留、使用学位论文 的规定，有权保留并向国家有关部门或机构送交论文的复印件和磁盘， 允许论文被查阅和借阅。本人授权电子科技大学可以将学位论文的全 部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描 等复制手段保存、汇编学位论文。 （保密的学位论文在解密后应遵守此规定） 签名： 导师签名： 日期： 年 月 日 万方数据 万方数据 万方数据 万方数据 摘要 摘 要 随着互联网在当今时代的快速发展和信息技术的普及，人们处理的数据量正 在成百上千的增加，海量数据的时代已经悄然来临。在以后的一段时间内，单位 企业所产生、应用、存储的数据量将逐渐增长，分布式文件系统的发展与应用也 会越来越普及。分布式文件系统是指被文件系统管理的物理存储资源借助计算机 网络的手段存储在其它节点上，而不一定直接存储在本地节点上。在一般文件系 统服务能力的基础上额外增加了资源共享、高可用性、高可靠性和高存储容量等 优点。其中分布式文件系统的基本准则是资源共，要达到这个基本原则，分布式 文件系统必须以安全和可靠地方式共享数据。为了保证分布式文件系统的高可靠 性和高可用性，发展分布式文件系统的容错技术是非常重要的。 核心存储系统是以实现文件系统的高容错性而设计的分布式文件系统。在该 系统下的节点的组织形式为分布式的松耦合体系结构，有良好的扩展性。充分考 虑了服务器和端系统之间的结合机制，系统的灵活性加强。同时系统的各个模块 之间独立，假如某个模块发生异常，在恢复过程中也不会干涉其他模块。本文根 据当前比较流行的容错技术和项目的需求，重点阐述了以下三个方面，保证了整 体性能和高容错能力： 第一：基于客户端触发的 Lazy 机制的容错设计，在本系统中由客户端来发现 客户端缓存的规则与规则服务器上存储的规则不一致，然后客户端再去规则服务 器上面去拉取规则，更新自身存储的规则，使其客户端缓存的规则与规则服务器 上的规则一致。 第二：元数据管理模块的容错设计，主要是通过双机热备份机制来实现的。 从机根据日志来复制数据和根据 Mysql 数据库自带的复制功能实现同步数据、主 机与从机根据心跳机制互相监控对方的运行状态和当主机发生故障时，从机自动 切换为主机，这三个方面实现了元数据的容错。 第三：数据管理模块的容错设计，主要通过冗余副本和故障恢复来实现的， 首先副本数量根据客户端的要求来存储，显得更加灵活；故障恢复是根据迁移桶 设计来体现的。本系统还实现了系统的负载均衡的设计，增强了系统的整体性能。 关键词：分布式文件系统，容错，可靠性，双机热备份 I ABSTRACT ABSTRACT ABSTRACT Nowadays,with the rapid development of the internet and the growing popularity of information technology, the amount of data which people deal with are hundreds of thousands of increasing, the era of huge amounts of data has been quietly coming. In the later period of time, amount of data produced、used and stored by business units will gradually increase. The distributed file system’s development and application will