HDFS平台下基于纠删码的一种数据放置策略.pdfVIP

第38卷第1期 浙江师范大学学报(自然科学版) Vol. 38,No. 1 2015年2月 　 　 　 　 　 　 Journal of Zhejiang Normal University(Nat. Sci.)　 　 　 　 　 　 Feb. 2015 ■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■ DOI:10.16218/ j.issn.1001-5051.2015.01.015 HDFS平台下基于纠删码的一种数据放置策略❋ 孔晨燕,　 赵建民,　 朱信忠,　 徐慧英 (浙江师范大学数理与信息工程学院,浙江金华　 321004) 摘　 要:数据的可靠性一直是云计算领域中的热点问题,副本备份机制作为保证数据可靠性的重要手段应用 比较广泛.但随着副本个数的增加,该机制浪费存储空间这一缺陷暴露无遗.为节省存储空间,采用纠删码技 术保证数据的可靠性,提出了在HDFS平台下基于纠删码的一种数据放置策略.该策略以HDFS为平台,结合 HDFS的副本备份策略和纠删码技术,通过改进HDFS平台下原本的数据放置策略,使改进后的数据放置策略 能够适用于基于纠删码和HDFS的云文件系统. 关键词:云计算;HDFS;副本备份;纠删码;数据放置 中图分类号:TP393　 　 　 　 文献标识码:A　 　 　 　 文章编号:1001-5051(2015)01-0089-06 A data placement strategy based on erasure code in the platform of HDFS KONG Chenyan,　 ZHAOJianmin,　 ZHU Xinzhong,　 XU Huiying (College of Mathematics,Physics and Information Engineering,Zhejiang Normal University,Jinhua Zhejiang　 321004,China) Abstract:Reliability of datawasahot topic inthefield of cloud computing. The mechanism of backup asan important mean to ensure the reliability of data had been used widely,but with the increase of the number of copies,the defect of storage space wasting in this mechanism had been exposed. To save storage space,the technology of erasure codeswasusedto ensurethereliability of data. Itwasproposed a dataplacement strate- gy intheplatformof HDFS. ThisstrategyusedHDFSastheplatform,combiningbackupstrategyof HDFSand technology of erasure code. The improved data placement strategy proposed could be applied to the cloud file system based on erasurecodeand HDFSby improvingtheoriginal data storage strategy inthe HDFSplatform. Key words:cloud computing;HDFS;copy backup;erasure code;dataplacement ❋ 收文日期:2014-10-27;修订日期:2014-11-19 　 基金项目:国家自然科学基金资助项目 　 作者简介:孔晨燕(1991- ),女,江苏镇江人,硕士研究生.研究方向: