HDFS 中的一种数据放置策略.pdfVIP

第23卷　 第5期 计 算机 技 术 与发 展 Vol.23　 No.5 2013年5月 　 　 　 　 　 　 　 　 　 　 COMPUTERTECHNOLOGY AND DEVELOPMENT　 　 　 　 　 　 　 　 　 　 May.　 2013 HDFS 中的一种数据放置策略 1,2,3 1,2,3 王永洲 ,茅　 苏 (1.南京邮电大学计算机学院,江苏 南京 210003; 2.江苏省无线传感网高技术研究重点实验室,江苏 南京 210003; 3.宽带无线通信与传感网技术教育部重点实验室,江苏 南京 210003) 摘　 要:将HDFS应用于云存储备份系统已引起学术界和企业界的广泛关注,但是HDFS假设集群中的节点是同构的,且 在数据块的放置时采用了随机的数据放置策略,而在实际的云存储系统中节点的同构性并不理想并且随系统的运行节点 的存储性能动态变化,随机选取节点的数据放置策略也可能会导致集群中数据放置的不均衡性。 为此,文中综合考察了 影响节点存储性能的CPU、内存、系统结构、磁盘的读写速度等因素,提出了一种对节点存储性能进行度量的方法。 在数 据存储时综合考虑节点的存储性能和节点与客户端的网络距离两个因素进行数据节点的选择。 实验结果表明,与系统默 认策略相比提出的策略不仅可以改进数据放置的负载均衡而且可以提高异构集群的数据传输速率。 关键词:HDFS;云存储;数据放置;吞吐量 中图分类号:TP31　 　 　 　 　 　 文献标识码:A　 　 　 　 　 　 文章编号:1673-629X(2013)05-0090-03 doi:10.3969/ j.issn.1673-629X.2013.05.023 A Blocks Placement Strategy in HDFS 1,2,3 1,2,3 WANG Yong-zhou ,MAO Su (1.College of Computer,Nanjing University of Postsand Telecommunications,Nanjing210003,China; 2.Jiangsu High Technology Research Key Lab for Wireless Sensor Networks,Nanjing210003,China; 3.Key Lab of Broadband Wireless Communication and Sensor Network Technology of Ministry of Education, Nanjing210003,China) Abstract:The application of HDFSin cloud storage hascaused wide attention in academic circles and corporate community,but HDFS assumesthat the nodesin a cluster are homogeneous and the data node selection for block placement in cluster is random.The current strategy ignoresthe heterogeneityofclusterandcouldleadtounbalancedloadbetweendatanodes.Inthisp