基于纠删码技术的hd_ec文件系统的设计与实现-design and implementation of hd _ ec file system based on erasure codes technology.docx

曲 阜 师 范 大 学 研 究 生 学 位 论 文 独 创 性 声 明（根据学位论文类型相应地在“□”划“√”） 本人郑重声明：此处所提交的博士□/硕士□论文《基于纠删码技术的HD_EC 文件系统的设计与实现》，是本人在导师指导下，在曲阜师范大学攻 读博士□/硕士□学位期间独立进行研究工作所取得的成果。论文中除注明部 分外不包含他人已经发表或撰写的研究成果。对本文的研究工作做出重要贡 献的个人和集体，均已在文中以明确的方式注明。本声明的法律结果将完全 由本人承担。作者签名：日期：曲 阜 师 范 大 学 研 究 生 学 位 论 文 使 用 授 权 书（根据学位论文类型相应地在“□”划“√”）《基于纠删码技术的 HD_EC 文件系统的设计与实现》系本人在曲阜师范 大学攻读博士□/硕士□学位期间，在导师指导下完成的博士□/硕士□学位论 文。本论文的研究成果归曲阜师范大学所有，本论文的研究内容不得以其他 单位的名义发表。本人完全了解曲阜师范大学关于保存、使用学位论文的规 定，同意学校保留并向有关部门送交论文的复印件和电子版本，允许论文被 查阅和借阅。本人授权曲阜师范大学，可以采用影印或其他复制手段保存论 文，可以公开发表论文的全部或部分内容。作者签名：日期：导师签名：日期：摘 要随着信息全球化的发展，互联网产业得到迅速地发展，其在科学研究、数据挖掘和信 息获取方面的广泛应用，使得人类需要存储和管理的数据越来越多，进而出现数据爆炸现 象。数据的爆炸式增长使得本地文件系统在存储和计算能力等方面越来越不能满足用户的 需求。分布式文件系统可以有效地解决数据存储和管理的难题，也逐渐代替本地文件系统 成为企业数据的基本存储方式。数字信息化在促进分布式文件系统发展的同时，也对存储 系统中数据的安全性提出了更高的要求。在当今数据即信息，数据即价值的时代，如何保 护企业的“数据资产”不被损坏或丢失，保证数据的安全性成为重中之重。比较流行的数 据安全技术包括备份、日志、快照和纠删码，而纠删码可以在保证数据安全性的同时，节 约较多的存储空间，也因其较好的可扩展性，在分布式文件系统中得到广泛应用。本文主要针对目前比较流行的分布式文件系统 HDFS 进行研究，分析了 HDFS 多副本 数据安全策略的缺点，采用比较流行的纠删码技术替代多副本策略，在保证数据安全性的 同时，可以在系统数据总量为 N 的情况下，相比于 HDFS 的三副本技术，节约 1.3N 的存 储空间。本文实现了 HD_EC 文件系统，该系统将 HDFS 和 ECFS 文件系统进行结合。ECFS 是 采用纠删码技术实现的，HD_EC 文件系统充分利用两个文件系统的优点，将 HDFS 和 ECFS 进行文件系统的整合，将系统数据由 HDFS 转储到 ECFS 之中。在 HDFS 客户端发出文件 操作命令后，首先在 HDFS 名字节点修改或读取名字空间目录树，然后获取数据将要写向 或已经存放的数据节点信息，最后在 HDFS 端调用 ECFS 所提供的文件操作接口，向 ECFS 写入数据或者从 ECFS 中读取或删除文件数据。写向 HD_EC 文件系统的数据会经过一定 的纠删码算法，计算得出编码块，将数据块和编码块同时存放在 ECFS 中的数据服务器中。 因为 HDFS 是以 Java 代码实现，而 ECFS 是 C 语言代码实现，不能直接通过接口调用 ECFS 中的函数，因此本文采用 Java 中的 JNI 应用程序，实现 Java 和 C 本地库的相互转换。本文还完成了 HD_EC 文件系统的相关测试工作。从系统功能的实现、存储空间、读 写效率三个方面进行测试。从实验结果来看，在系统功能实现方面，系统很好的实现了文 件操作的功能，可以将数据正确的存储到 ECFS 中，也可以从中正确的读取文件数据；在 存储空间方面，将 HDFS 中的数据存储到 ECFS 之中，在保证数据安全性的同时，还可以 节约相比于三副本更多的存储空间；在读写效率方面，将数据存于 ECFS 之中，读写速率 会有一定程度的减慢，这也正是接下来研究工作的重要一部分。关键词：HDFS，ECFS，纠删码，数据转储，JNI，HD_ECFSIAbstractWith the development of information globalization, the internet has been developed rapidly, it has been widely used in the scientific research, the data mining and the information retrieval. So, more and more data need to be stored and management,