Hadoop平台下改进的推测任务调度算法Improvedspeculativetask.PDFVIP

网络出版时间：2017-02-09 10:36:50 134 传感器与微系统﹙Transducer and Microsystem Technologies ﹚ 2017 年 第36 卷 第2 期 网络出版地址：/kcms/detail/23.1537.TN1036.014.html — — — ：10 . 13873 / J. 1000 9787 ﹙2017 ﹚02 0134 04 ٭ ﹙ ﹚ ：研究对比Hadoop 平台下默认的推测任务 度算法和异构环境下LATE 度算法的优势和不足， 提出了一种基于Hadoop 集群的改进的推测任务 度算法。该算法以节点历史信息对Reduce 任务各阶段 比例进行动态 整和更新，并对任务实时处理速率进行局部平滑处理来提高预估任务剩余完成时间的准 确性，最后采用MCP 模型对备份任务有效性进行验证。通过实验结果分析可知：该算法能够有效提升备 份任务成功率，减少作业完成时间。 ：MapReduce ；异构环境；推测执行；LATE ：TP 393 ：A ：1000— — — 9787 ﹙2016 ﹚02 0134 04 ٭ CHEN Ming-li ，LIU Xu-min ﹙，，，﹚ ：After compare and analysis the advantage and disadvantage of the default speculative task scheduling algorithm on the Hadoop platform and LATE scheduling algorithm in heterogeneous environment ，an improved speculative task scheduling algorithm based on Hadoop computer cluster is proposed. The algorithm dynamically adjusts and updates the proportion of stages in the Reduce task based on node history information ，smoothes the real-time task progress rate to improve the forecast accuracy of the remaining completion time ，and applies MCP model to verify the effectiveness for backup task. The experiment analysis show that the algorithm can improve the success rate of backup task and reduce j ob completion time. ：MapReduce ；heterogeneous environment ；speculation execution ；LATE 算法均未考虑备份任务的有效性，若备份任务无法在落后 随着信息量的指数级增长，使得云计算［1］这一新的商