一种副本复制和纠错码融合的云存储文件系统容错机制.pdfVIP

ISSN 1000-0054 清华大学学报 (自然科学版) 2014年 第 54卷 第 1期 丽 JTsinghuaUniv(Sci＆Techno1)，2014，Vo1．54，No．1 21／21 137—144 一 种副本复制和纠错码融合的云存储文件系统容错机制 杨 东 日 ， 王 颖 ， 刘 鹏 (1．中国科学院大学 工程管理与信息技术学院，北京 100049；2．中国人民解放军理工大学，南京 210007) 摘 要：在云存储技术中，云存储文件系统的数据容错十分 PB的数据存入数据库 ，此数据量是美 国国会 图书 重要，直接关系到整个系统的可用性。该文通过对有中心的 馆 的 167倍口]。大批 的新应用对云存储技术提出 分布式文件系统进行分析，提出了双机热备的元数据管理节 了更高的要求，包括存储可靠性和存储效率两个 点容错技术和块副本与基于纠删编解码算法相结合的存储 关键指标，从而使云存储文件系统数据容错机制 节点容错技术，为云存储文件系统设计了双重保险的容错机 成为 了研究热点。 制。实验结果表明，该机制大大提高 了云存储系统的可靠 云存储 的核心是分布式文件存储系统。目前分 性，并提高了磁盘空间利用率。 布式文件系统按照其系统技术架构来分，可 以分为 关键词 ：云存储 ；容错 ；双机热备 ；副本复制；纠删码 有 中心 的分布式文件系统架构和无 中心的分布式文 中图分类号 ：TP315；TP319 文献标志码 ：A 件系统架构 。 文 章编 号 ：1000—0054(2014)01一O137一O8 有中心的分布式文件系统架构从逻辑上由接 口 节点、元数据节点、数据节点和管理节点组成 。接 口 Fault-tolerantmechanism combinedwith 节点负责用户请求的处理；元数据节点负责元数据 replicationanderrorcorrectingcode 的操作，包括元数据 的创建、查询等；数据节点负责 forcloud filesystems 数据的操作 ，包括数据的冗余 、切分 、存储、恢复等 ，例 如谷歌公司的GFSE和开源的HadoopHDFSE3]是典 YANG Dongri’，W ANG Ying’，LIUPeng 型的有中心的分布式文件系统。若客户端方式支持 (1．CollegeofEngineering InformationTechnology，University ofChineseAcademyofSciences，Beijing100049，China； 可移植操作系统接 口POSIX(portableoperatingsys— 2．PLAUniversityofScienceandTechnology，Naaiing210007，China) tern interface)协议，则可不需要接 口节点，直接通过 Abstract：Faulttolerantis importantfor the reliability ofcloud 客户端处理用户请求。其中，元数