异构存储的HDFS副本选择策略研究.docxVIP

异构存储的HDFS副本选择策略研究 　　摘 要：大数据时代的到来，给海量数据的存储与管理带来了更为严峻的挑战。HDFS能够有效缓解飞速增长的海量数据存储需求。最初HDFS被设计用于同构的硬件环境，然而随着集群硬件的迭代更新，存储介质的硬件异构特性愈发明显。为了充分利用高性能存储介质，提升HDFS的数据访问性能，设计了一种基于层次分析法的异构存储的HDFS副本选择策略，并在扩展的CloudSim仿真系统中实现了该策略。实验结果表明，该策略在HDFS数据访问性能方面优于HDFS默认副本选择策略。　　关键词：大数据；异构存储；HDFS；副本选择策略；CloudSim　　DOIDOI：/　　中图分类号：TP301　　文献标识码：A 文章编号：1672--0011-03　　0 引言　　云存储技术已经受到了商业与学术领域的广泛关注，目前已成为大数据时代的研究热点。随着大数据时代的到来，大数据的存储需求成倍增长，分布式存储技术是大数据时代应对存储容量的压力与成本等诸多挑战下的极为重要的解决方案。HDFS是大数据领域最受关注的具备高度容错性与高吞吐量的海量数据存储的开源框架[1]。　　近年来，计算机硬件技术的飞速发展，使得固态硬盘的性能不断提升，价格快速下降。由于固态硬盘具有较高的I/O性能，目前已经被应用于HDFS中以提升海量数据的存储性能。但是固态硬盘的使用成本仍旧高于机械硬盘