基于性能感知的时空相关数据集副本管理策略.PDFVIP

14 《高性能计算发展与应用》 2014年第四期 总第四十九期 基于性能感知的时空相关数据集副本管理策略  叶林 栾钟治 杨海龙 北京航空航天大学 计算机学院北京 100091 摘要： 针对如何在广域分布的环境中放置时空相关的数据集以支持跨学科科学研究的问题，本文 提出了基于性能感知的时空相关数据集副本管理策略。它主要从三个方面解决该问题：一是根 据对数据集性能的要求，确定数据集副本的数量；二是根据数据节点性能，确定副本的放置位 置；三是对数据集中冷热数据进行区分，进行副本数量的弹性控制。该策略在HDFS上进行了测 试，实验结果表明本策略在维护数据的可靠性，提高集群整体访问性能方面有很大改善。 关键词：时空相关数据集，性能感知，弹性副本管理 1. 引言 出了基于性能感知的时空相关数据集的副本管理策 面向青海湖生物多样性保护和生态系统演化 略；第四部分对策略进行了实验分析；最后一部分 的跨学科科研合作，相关数据资源往往多源异构。 是对工作的总结。 这些数据一般都具有显著的时空耦合和关联性，也 即时空相关性，这种性质对于跨学科领域的研究来 2. 相关工作 说，需要对整个数据集进行关联性分析，缺少一个 副本数量的确定和副本位置的选择以及弹性副 方面的数据，对研究结果就可能产生极大的影响。 本策略的研究方面取得了一些成果。 [2] 因此创建多少个副本以满足数据集可靠性的要求， Qingsong Wei等 提出了基于代价模型的动态副 这些副本应该放置在哪里才能提高数据集的访问速 本管理技术CDRM。它根据副本因子与数据可用性之 度以及面临密集访问时怎样弹性的进行副本数量的 间的关系，建立了确定副本数量的模型。根据这个 控制以满足数据集可用性的要求。这些问题是副本 模型可以计算出满足可用性要求的副本数量，通过 管理方面的重要方面，也是海量科学数据进行合理 合理分布副本以减少访问阻塞发生的概率，以提高 布局需要解决的关键问题。到目前为止，还没见到 访问性能和实现负载均衡。但是它未对数据的冷热 有针对时空相关数据集副本放置的相关研究工作。 进行合理的区分，未给出需要的热副本数。 [3] 本文解决了在跨学科科学研究中保证时空相关 Cidon等 针对现有数据存储系统中副本的随机 数据集可靠性和可用性的问题。提出了基于性能感 放置以避免数据丢失，但数据丢失率仍然很高的问 知的时空相关数据集的副本管理策略。首先建立了 题，提出了Copysets副本管理策略。它将数据节点划 一个确定副本数量与可靠性之间关系的概率模型， 分为Copysets，然后使用分散宽度来衡量单个数据副 根据该模型可以计算出维护数据可靠性的最小副本 本数量，对给定分散宽度以最少的Copysets数量使得 [1] 数据丢失概率最小。该策略在一定程度上降低了数