外文翻译云计算中倾斜度感知的任务调度..pdf

2013Skew-Aware Task Scheduling in Clouds 云计算中倾斜度感知的任务调度 李东生，陈宜兴，理查德·胡亥 国防科技大学，计算机学院，并行与分布式处理国家实验室，中国国立大学 莱佛士商学院，新加坡 dsli@ 摘要：数据扭曲是 MapReduce 一样的云系统中慢任务出现的一个重要原因。在 本文中，我们提出了一个斜感知任务调度（ SATS ）机制针对 MapReduce 类似 系统的迭代应用。该机构利用迭代应用中在相邻迭代的数据分布的相似性，来 减少数据扭曲造成的落伍的问题。它在当前迭代的任务的执行过程中收集数据 的分布信息，并用这些信息来指导下一次迭代时任务的数据分割。我们在 HaLoop 系统落实机制，在一个集群中部署。实验结果表明，该机制可以处理数 据扭曲，有效地提高负载平衡。 关键词：数据扭曲；任务调度；云计算；负载均衡 1、简介 近年来云计算已经成为一个有前途的技术，而且 MapReduce是最成功的一 个大规模数据密集型云计算的实现平台 [1] - [3] 。MapReduce 的使用一个简单的 数据并行的编程模型，有两个基本的操作，即， Map 和 Reduce操作。用户可以 根据应用程序的要求自定义 Map 功能和 Reduce功能。每个 map 任务取一片输入 数据，并产生一个用 Map 功能的 key/value 对的集合，这是初步地用 Reduce功 能做 Reduce任务。这种编程模型很简单，但功能强大，许多大规模数据处理应 用程序可以由模型来表示。类 MapReduce的系统可以在云计算中自动调度多个 分布在机器中的 Map 和/或 Reduce任务。作为同步步骤仅存在于 Map 阶段和 Reduce阶段之间，任务执行在相同的阶段具有高平行度，并且因此并发性和系 统的可扩展性可以被高度增强。 Hadoop[4]和它的变体（例如， HaLoop [5]和 Hadoop++ [6] ）是典型的类 MapReduce系统。 由于在类 MapReduce 系统中 Map 和 Reduce阶段之间存在同步步骤，在任 一阶段慢任务可能减慢整个工作的执行。 这种慢任务在 Map 或 Reduce阶段叫做 落后者。当慢任务出来时， 整个工作的执行时间会增加， 而资源的使用会被减少。 最近，有研究 [7]-[8] 显示该数据歪斜已经成为了在 Map 或 Reduce阶段出现慢任 务的一个主要原因。 在许多科学计算和数据分析应用中， 输入的数据或中间数据 的数据倾斜可能会导致严重的负载不平衡的问题。例如， PageRank [9]用于大规 模搜索工程是一种典型的执行在类 MapReduce 系统上的应用。 该 PageRank应用 进行链接分析——通过反复迭代其周边邻居的权重， 为在网页的链接图中的每个 顶点 / 网页分配权重（等级）。研究 [7] ，[8] ，[18]表明网页链接图的度是多倾斜 的，一些顶点具有较大度的入边。 由于 MapReducelike 系统 [4]使用随机哈希算法 进行分区中间数据到 Reduce节点，节点代表着计算度较大的节点的权重的任务 可能需要更多的时间来完成他们的任务， 从而成为该系统的慢任务。