Hadoop平台下改进的LATE调度算法-论文.pdf

ComputerEngineeringandApplications计算机工程与应用 Hadoop平台下改进 的LATE调度算法 胡 丹，于 炯，英昌甜，邹伟明 HU Dan，YU Jiong，YING Changtian，ZOUW eiming 新疆大学 信息科学与工程学院，乌鲁木齐 830046 CollegeofInformationScienceandTechnology,XinjiangUniversity,Urumqi830046，China HU Dan，YU Jiong，YING Changtian，eta1．ImprovedLATEschedulingalgorithm onHadooppaltform ．Computer EngineeringandApplications，2014，50(4)：86·89． Abstract：TheexistingschedulersofMapReduceontheHadoopplatform areanalyzed．ToconsiderthelackofLATE schedulingalgorithm inallocatingTaskTrackertoexecutebackuptasksforbackwardtasks，combiningwiththeparticularity ofHadoopclusterheterogeneityandworkload，animprovedschedulingalgorithm isproposed—basedonLATE scheduling algorithm．Theexperimentsandperformanceanalysisofrthealgorithm show thatithassignificantlyimprovedinthecom— pletiontimeandloadbalancing． Keywords：Hadoop；MapReduce；LATE；backwardtask 摘 要：对Hadoop平台下的MapReduce现有的调度器进行分析研究。针对LATE调度算法在分配节点执行落后任 务的备份任务时的不足，结合Hadoop集群的异构性和工作负载的特殊性，在LATE调度算法的基础上提出了一种改 进的LATE调度算法。对该算法进行实验和性能分析，表明该算法在完成时间和负载均衡方面有很大改进。 关键词：Hadoop；MapReduce；LATE；落后任务 文献标志码：A 中图分类号：TP393 doi：10．37788．issn．1002—8331．1204-0040 1 引言 影响MapReduce框架的性能。由于集群异构性 ，加大了 当今最流行的计算机应用是拥有数百万用户的互 调度器设计的难度 。Hadoop自带的Map．Reduce调度 联 网服务。庞大的数据量使我们想把并行计算的思 器仅考虑同构环境 ，在异构环境下效率低下。LATEtT~调 想应用到商业集群上 ，在这样的环境下云计算 应运 度器虽然在异构环境下的效率有所提高，但还是存在不 而生。越来越多的网络服务和商业应用部署在能处理 足。本文提出的调度器算法 ，对LATE调度器算法进行 PB级数据的云计算环境中。Google在2004年提出的 了改进。该算法的基本思想：首先将提交的工作根据该 MapReduce框架是海量数据处理中一个最著名的解决 工作的负载分成 IO．bound型和CPU．bound型工作。其 方案 。MapReduce用在非常广泛的应用程序中，包括 次，在为落后任务选择执行备份任务的节点时，根据工 分布Grep、分布排序、Web连接图反转、每台机器的词矢 作负载的类型选择10负载小的节点或CPU负载小且存 量 、Web访问 日志分析、反向索引构建、文档聚类 、机器 在空闲槽的节点。这样既能够缩短工作的完成时间，又 学习、基于统计的机器翻译等等。Hadoop 堤I由Apache 能够提高资源利用率 ，从而达到整个集群的负载均衡。 基金会开发的一个开源项 目。它是Map．Reduce调度方 式和GFs】数据存储方式的开源实现，并被雅虎 ，脸谱