一种异构环境下的Hadoop调度算法.docVIP

下载本文档

3
0
约6.5千字
约 7页
2020-05-15 发布于天津
举报

一种异构环境下的Hadoop调度算法.doc

一种异构环境下的调度算法梁建武周杨中南大学信息科学与工程学院长沙摘要作为一种重要的大规模数据并行程序模型已经越来越广泛的应用于索引数据挖掘以及科学仿真等方面作为的开源实现的性能依赖于它的任务调度机制本文提出了一种异构环境下的调度算法估计任务的完成时间结合系统负载以及时使用调度算法从而减小任务响应时间提高性能关键词异构环境中图法分类号文献标识码引言现在大部分互联网服务都拥有数百万的用户这些服务所产生的海量数据促进了人们对并行处理的研究兴趣典型的例子有使用其自身的框架每天处理数据此外每个应用都会对用

一种异构环境下的Hadoop调度算法梁建武1，周杨2 （中南大学信息科学与工程学院，长沙 410075）摘要：MapReduce作为一种重要的大规模数据并行程序模型已经越来越广泛的应用于web索引，数据挖掘以及科学仿真等方面。作为MapReduce的开源实现，Hadoop的性能依赖于它的任务调度机制。本文提出了一种异构环境下的Hadoop调度算法，估计任务的完成时间，结合系统负载以及时使用调度算法，从而减小任务响应时间，提高MapReduce性能。关键词：MapReduce；Hadoop；异构环境中图法分类号：TP399 文献标识码：A A scheduler algorithm

您可能关注的文档

文档评论（0）

1亿VIP精品文档

更多 >

一种异构环境下的Hadoop调度算法.docVIP