4基于数据局部性推测任务调度算法.docVIP

基于数据局部性的推测式Hadoop任务调度算法研究 刘 奎1，，， (1.东北大学秦皇岛分校 计算机与通信学院,河北省省；2. 市 ) 摘 要: 关键词: Hadoop 中图分类号:TP31　　　 文献标志码: A 文章编号： A speculative task scheduling algorithm based on locality of data in Hadoop LIU Kui1, LIU Xiang-dong1, MA Bao-lai2, WANG Cui-rong1 (1. College of Computer and Communication,Northeastern University at QinHuangdao, QinHuangdao Hebei 066004, China；2. College University , Shenyang 110000, China) Abstract: For the reason that the existing algorithm on Hadoop doesnt have a high level of optimization, this paper presents a novel task scheduling algorithm based on data locality speculation. By calculating the time duration ratio of Map and Reduce task on each node combined with the local characteristics of tasks and data on different nodes, the algorithm introduces a more accurate task detection mechanism, and then launches backup tasks of slow tasks on fast nodes. For using computing migration instead of data migration, the algorithm can obtain higher efficiency. Experimental results in Hadoop show that compared with the existing scheduling algorithm, the algorithm proposed in this paper can shorten the task average operation time and reduce the network congestion caused by data exchange between cluster racks. It also can speed up the task execution efficiency. Key words: Hadoop; job scheduling; heterogeneous environments; locality of data 0引言 Amazon、Yahoo!等IT公司都推出了自己的云计算服务平台，并把云计算作为未来的重要战略之一[2]。云[3]。这个项目得到了雅虎公司的大力支持，进而使得Hadoop成为一个更适合并行处理大规模数据的开源分布式计算平台，并且已经在很多大型网站上得到了广泛的应用。Hadoop平台最大的优点就是在并行化技术方面对应用开发者实现了透明处理，开发人员在开发云计算的应用程序时，可以像开发普通程序一样编写代码，而不需要理解那些由Hadoop底层自动实现完成的复杂的并行化技术[4]。但是，Hadoop毕竟还是一个比较年轻的平台，在很多技术细节问题还有待进一步改进，特别是在实际使用过程中暴露出的MapReduce调度器的低效性和对异构系统适应能力差的问题，任务调度技术是Hadoop平台的核心技术之一，其主要功能是对任务执行的顺序以及系统的计算资源进行合理的控制与分配。调度技术的优劣直接影响到Hadoop平台的整体执行性能和系统资源利用效率的高低，这一技术在现阶段仍然处于不完善的状态，现有的任务调度算法都存在着一些不足，限制了云计算技术在应用领域的作为。目前常见的调度算法有Hadoop的默认调度算法FIFO，这种算法不考虑作业的优先级或者大小，选取最老的作业先调度。公平调度[5]是Facebook公司贡献的，它会随着时间的推移公平分配资源。Yahoo公司开发了容量调度