基于范德蒙码的 HDFS 优化存储策略研究.pdfVIP

第 卷 第 期 计 算 机 学 报 ３８ ９ 　 　　 　　 　　 　　 Ｖｏｌ．３８ Ｎｏ．９ 年 月 ２０１５ ９ Ｓｅ ｔ．２０１５ ＣＨＩＮＥＳＥＪＯＵＲＮＡＬ ＯＦ ＣＯＭＰＵＴＥＲＳ ｐ 　 基于范德蒙码的HDFS优化存储策略研究 宋宝燕 王俊陆 王 妍 　 　 　 （辽宁大学信息科学与技术学院 沈阳 １１００３６） 　 　 摘 要 随着大数据时代的到来，新型文件系统 （ 分布式文件系统）的应用越来越广泛 但其本身也 ＨＤＦＳ Ｈａｄｏｏ ． 　 　 ｐ 存在着整体存储成本过高、可扩展性低、节点负载均衡能力不足等问题 因此，该文提出了一种基于范德蒙码的 ． ＨＤＦＳ分散式动态副本存储优化策略，针对 ＨＤＦＳ大多部署在大量的廉价硬件集群上的实际情况，在范德蒙码优化 策略的基础上，采用分散式动态副本控制的思想对 ＨＤＦＳ文件操作的计算过程、计算模式以及译码触发策略进行系 统的改进，并通过校验码动态设置的方式将容错度控制在一个理想的范围之内，此外，结合伽罗华有限域理论对范德 蒙码的编译码操作及计算方法进行全面优化，在不影响 ＨＤＦＳ存储结构的前提下，降低了范德蒙码编译码的时间代 价和计算的内存压力，节约了 约 的存储开销，数据可靠性提高了约 ，均衡 系统节点负载能 ＨＤＦＳ ３０％ ２００％ ＨＤＦＳ 力，译码恢复效率平均提升约４０％，形成了一套完整的、系统的优化方案，为未来 ＨＤＦＳ的发展提供了一条有效途径． 关键词 大数据； ；范德蒙码；分散式动态副本；优化存储 ＨＤＦＳ 　 中图法分类号 号 ／ ＴＰ３１１ DOI １０．１１８９７ ＳＰ．Ｊ．１０１６．２０１５．０１８２５ 　　　 O timizedStora eStrate Research ofHDFSBased on VandermondeCode p g gy ＳＯＮＧ Ｂａｏ-Ｙａｎ ＷＡＮＧＪｕｎ-Ｌｕ ＷＡＮＧ Ｙａｎ 　 　 （ ， ，