基于成本的MapReduce工作流优化器-中国云计算.PDFVIP

64 2015 ，51（21） Computer Engineering and Applications 计算机工程与应用 基于成本的MapReduce 工作流优化器 冯秋燕 FENG Qiuyan 河南财经政法大学，郑州 450000 Henan University of Economics and Law, Zhengzhou 450000, China FENG Qiuyan. Cost-based MapReduce workflow optimizers. Computer Engineering and Applications, 2015, 51 （21）：64-69. Abstract: Optimizations at different levels of the MapReduce stack have their advantages and disadvantages. For MapReduce workload optimization problem, related concepts are proposed; cost-based optimization approaches and related technology of MapReduce jobs are introduced and assessed through comparation with RoT; three MapReduce workflow optimizers are presented for cost-based optimization of MapReduce workflows based on dataflow and resource dependencies. Cost-based workflow optimization is evaluated. End-to-end evaluation of the workflow optimizer is described; the advantages and disad- vantages of these three workflow optimizers are analyzed through experimental evaluation of their overhead. Key words: MapReduce workloads; optimization; dataflow dependencies; resource dependencies; workflow optimizer 摘 要：对MapReduce 栈的不同层进行优化有各自的优缺点。针对MapReduce 工作负载的优化问题，提出了相关概 念；通过与RoT 的对比，介绍了MapReduce 工作基于成本的优化及所使用的相关技术，并对MapReduce 基于成本的 优化进行了评估；基于工作流中的数据流依赖和资源依赖关系，提出了三种工作流优化器，评估了基于成本的工作 流优化，并对工作流优化器进行了终端-对-终端的评估；通过实验评估了工作流优化器的优化开销并对这三种工作 流优化器的优缺点进行了对比分析。 关键词：MapReduce 工作负载；优化；数据流依赖；资源依赖；工作流优化器 文献标志码：A 中图分类号：TP311.5 doi ：10.3778/j.issn.1002-8331.1310-0228 1 引言 置参数工作做了补充。文献[13]研究考虑了存储要求 在大数据分析方面，MapReduce 正迅速成为一个 和数据传送成本的数据-驱动调度方法。数据传送成本 对现有系统的可行的竞争者。MapReduce 目前在查询 和其他的调度级优化建立在任务调度器中，这些任务调 [1] [14] 性能峰值等方面落后于现有的系统 ；文献[2-4]通过对 度器由Hadoop、Dryad、SCOPE 这样的新系统提出 。 MapReduce 堆栈的不同层次的优化试图解决该问题。 总之，以前的MapReduce 工作的优化以与SQL 规 文献[5]基