面向海量数据存储的Erasure-Code分布式文件系统I%2fO优化方法.pdfVIP

面向海量数据存储的Erasure-Code分布式文件系统I/O 优化方法 严林1，2 邢晶1 霍志刚1 马捷1 1中国科学院计算技术研究所 北京 100190 2中国科学院研究生院 北京 100049 摘 要：随着海量数据的快速膨胀，机群文件系统的存储方式正在逐步从复本向ErasureCode过渡。Erasure Code存储能够以更低的存储空开销提供更高的可靠性。然而，由于ErasureCode存储需要通过编码生成 编码数据，在存储原始数据和编码数据过程中更容易产生磁盘争用和不均衡负载，从而影响整个存储系 统的I/O性能；同时,ErasureCode存储在写回编码数据时，数据一致性和数据缓存之间存在冲突，传统 处理数据的无缓存方式和全缓存方式在机群文件系统中都存在很大的局限性。针对这两个问题，本文提 出了一种包括均衡负载的数据放置策略和编码缓存的一致性维护策略的ErasureCode机群文件系统I/O优 化方法。通过在我们开发的ErasureCode分布式文件 系统ECFS的实验测试表明，使用这种优化方法后机 群文件系统的聚合带宽能够提高95.53％。 关键词：机群文件系统;海量存储;Erasure-Code;数据放置;编码缓存;一致性 I/OOptimizationinErasure-CodeDistributedFileSystemforMassiveData Storage YanLin1,2XingJing1HuoZhigang1MaJie1 1InstituteofComputingTechnology,ChineseAcademyofSciences,Beijing100190 2GraduateUniversityofChineseAcademyofSciences,Beijing100049 Abstract:Astherapidgrowingofmassivedata,thestoragemethodofclusterfilesystemisdevelopingfrom replicationtoErasureCode.ThestoragesystembasedonErasureCodecanprovidehigherreliabilitywithless storageoverhead.However,thestoragebasedonErasureCodefacesmorediskI/Oconfilctandunbalancedload, whichjeopadizesthethroughputofthesystem.Specially,thereistradeoffbetweendataconsistencyanddata cachinginthestoragesystembasedonErasureCodewhenwritingbacktheparity.Andtherearelimitationsfor theuseofnon-data-cachingmachanismandall-data-cachingmachanismintheclusterfilesystem.Forthesetwo issues,weadoptanI/Ooptimizationmethodwhichincludesthedatalayoutmachanismbalancingtheloadand parityconsistencymachanism.IntheclusterfilesystemECFSwedevelopedbaseonErasureCode,the throughputofthesystemcanbeimprovedby95.53％ afterexploitingtheI/Ooptimization. Keywords:ClusterFileSystem;MassiveStorage;ErasureCode;DataPlacement;ParityCaching;Consistency 个存储容量 会有高达数 Lifo%00C 台数据块 时机直接 彩 勺 I/0效 C 蔓 ？t矽 小 总数 10 的存 算