CH-MMS%3a一种面向大数据存储系统的高效元数据集群管理方案.pdfVIP

CH-MMS：一种面向大数据存储系统的 高效元数据集群管理方案 1 1 2 2 肖中正 陈宁江 魏峻 张文博 1(广西大学计算机与电子信息学院 南宁 530004) 2( 中国科学院软件研究所软件工程技术中心 北京 100190) 摘要 高效的 去中心化的元数据管理方案对大型分布式存储系统的可靠性 可扩展性起到了至关重要 、 、 的作用 针对基于哈希的划分和基于子树划分的元数据管理方案扩展代价巨大以及对集群变动敏感等问 。 题，提出一种基于一致性哈希结构的 （ ）集群化方案 在一致 MDS MetaData Server —CH-MMS。CH-MMS 性MDS 集群上引入虚拟MDS ，有效平衡MDS 集群负载；将Standby 机制与延迟更新策略融合并应用于 集群，实现 快速失效恢复以及集群变动时零数据迁移量 阐述了 的体系结构，介绍 MDS MDS 。 CH-MMS 了核心数据结构 虚拟 结构 延迟更新机制以及相关算法，并对 扩展性 容 LayoutTable、 MDS 、 CH-MMS 、 错性作了定性分析 最后通过原型系统和模拟试验说明， 具有元数据平衡分布 快速失效恢 。 CH-MMS 、 复 灵活的扩展性以及零结点变动数据迁移量等特点，能满足数据量不断增加的大规模存储集群元数据 、 灵活 高效管理的需求 、 。 关键词 元数据管理；一致性哈希；大数据存储；元数据服务器；分布式文件系统 中图分类号 TP391 CH-MMS: A High Performance Management Schema of Metadata Clustering for Large-scale Data Storage Systems 1 1 2 2 Xiao Zhongzheng , Chen Ningjiang , Wei Jun , and Zhang Wenbo 1(College of Computer and Electronic Information, Guangxi University, Nanning 530004) 2(Technology Center of Software Engineering, Institute of Software, Chinese Academy of Sciences, Beijing 100190) Abstract An efficient, de