一种改进Hadoop数据放置策略_林伟伟.pdfVIP

( ) 华南理工大学学报 自然科学版 40 1 Journal of South China University of Technology Vol． 40 No ． 1 第 卷第 期 2012 1 (Natural Science Edition) January 2012 年 月 文章编号:1000-565X (2012)01-0152-07 * 一种改进的Hadoop 数据放置策略 林伟伟 ( ， 510006) 华南理工大学计算机科学与工程学院 广东广州 : Hadoop ， ， 摘 要 采用现有的 默认数据放置策略时 若本地数据副本失效 从远程结点上 ， 恢复数据需要耗费大量数据传输时间 且随机选取数据放置结点可能会影响数据放置的 ． ， ． 负载均衡 为此 文中提出一种改进的数据放置策略 该策略基于结点网络距离与数据负 ， ， 载计算每个结点的调度评价值 据此选择一个最佳的远程数据副本的放置结点 从而既能 ， ． Hadoop 实现数据放置的负载均衡 又能实现良好的数据传输性能 在 平台上实现了所提 ， ， ， 出的数据副本放置改进策略 结果表明 与系统默认策略相比 文中提出的策略不仅可以 改进数据放置的负载均衡，而且可以减少数据副本放置的时间． :Hadoop ; ; ; 关键词 数据放置 负载均衡 策略 中图分类号:TP 393 doi :10 ． 3969 /j ． issn． 1000-565X． 20 12 ． 0 1． 026 ［1-2］ ， ． ， 随着互联网和分布式计算技术 的发展 出现 体系中的一个重要问题 由于集群由大量机器组成 ， 了越来越多的数据密集型应用 这些应用常常需要 ． 存储结点的故障就不可避免 为了避免个别结点的 TB (10 12 B) ， 、 涉及数 的数据 如何高效 可靠而又方便 失效导致数据永久性的丢失． Hadoop 将数据的多个 ． 地处理大量的数据成为当前一个重要研究方向 与 ，