自适应的分布式文件系统元数据管理模型.pdfVIP

2014年 3月 计算机工程与设计 Mar．2014 第 35卷 第 3期 COMPUTER ENGINEERINGAND DESIGN Vo1．35 No．3 自适应的分布式文件系统元数据管理模型 程付超 ，苗 放lI。，陈 垦 (1．成都理工大学 地球探测与信息技术教育部重点实验室，四川 成都 610059；2．成都理工大学 地质灾害防治与地质环境保护国家重点实验室，四川 成都 61OO59) 摘 要：为了降低分布式文件系统中元数据的管理成本，解决元数据管理的单点问题，提 出一种工作 备份数据集 (wor- king-backupdataset，wBD)。将内存区域抽象为数据集，通过数据集操作来实现内存访问，减小了数据同步时内存操作的 复杂度。在此基础上，设计了一种分布式文件系统元数据管理模型一 自适应主从模型(self-adaptationmaster-slave，SAMS)， 降低 了分布式文件系统中元数据同步造成的性能开销。实验分析结果表明，采用SAMS作为分布式文件系统的元数据管理 模型，在维持元数据服务性能的基础上，实现了高容错性和高扩展性。 关键词：分布式文件 系统；元数据 ；容错性 ；扩展性 ；元数据模型 中图法分类号：TP393 文献标识号：A 文章编号：1000—7024 (2014)03—0867—08 Self—adaptivemetadatamanagementmodelfordistributedfilesystem CHENG Fu—chao ，M IAO Fang一，CHEN Ken (1．KeyLabofEarthExplorationandInformationTechniquesofM inistryofEducation，ChengduUniversityofTechnology， Chengdu610059，China；2．StateKeyLaboratoryofGeohazardPreventionandGeoenvironmentProtection， ChengduUniversityofTechnology，Chengdu610059，China) Abstract：Toreducethecostofmetadatamanagementindistributedfilesystems(DFS)andresolvetheproblemofsinglepoint offailure(SPoF)ofmetadatanode，adistributedmemoryabstractioncalledworking-backupdataset(WBD)ispresented．WBD abstractsthememoryareasofnodesintodatasets，andaccessesthememorywithdatasetoperations，toreducethecomplexityof memoryoperation．BasedonWBD，ametadatamanagementmodelcalledself-adaptationmaster-slave(SAMS)modelisdesigned toreducetheperformancecostofmetadatasynchronization．ExperimentalanalysisindicatesthatadoptingSAMS asmetadata managementmodelofDFShasachievedhighfault-toleranceandhigh scalability，onthebasisofmaintainingmetadataservice performance． Keywords：distributedfilesystem；metadata；faulttolerance；scalability~metadatamodel 量已经逐渐超过单台服务器的内存上限，采用分布式元数 0 引 言