基于自适应策略的MapReduce检查点技术的研究与优化-软件工程专业论文.docxVIP

万方数据 万方数据 Dissertation Submitted to Shanghai Jiao Tong University for the Degree of Master Research and Optimization of Adaptive Checkpoint Technique in MapReduce Candidate: Hao Wang Student ID: 1120379024 Supervisor: Prof. Fei Hu Academic Degree Applied for: Master of Engineering Speciality: Software Engineering Affiliation: School of Software Date of Defence: Jan. 14th, 2015 Degree-Conferring-Institution: Shanghai Jiao Tong University 上海交通大学工学硕士学位论文 摘要 基于自适应策略的 MapReduce 检查点技术的研究与 优化 摘 要 大数据处理已然成为当今计算机科学领域至关重要的技术之一，人类迎来 了最新的知识获取范式，一个商业公司对大数据的获取、存储与处理能力已成 为其核心竞争力之一。大数据面临着诸多问题，数据的规模正在非线性增长， 传统的数据库技术早已不能满足大数据的要求。Google 公司于 2004 年提出的 MapReduce 框架成为大数据时代具有里程碑意义的技术，基于 MapReduce 的 性能优化、容错策略与演化的编程模型层出不穷。MapReduce 框架提供的编程 模型非常简洁，使得其对应的调度与容错策略都可以变得简单而直接。然而， MapReduce 的开源实现 Hadoop 的容错性能却不容乐观。 本文深入探讨并总结了 Hadoop MapReduce 的原理与执行过程，分析了其 缺陷，致力于引入少量改动而大幅度提升其容错性能，最终实现了优化的 BeTL MapReduce。Hadoop 在任务层实现了其容错策略，每一个错误都将导致整个任 务的重新执行，这带来了大量的错误恢复开销。MapReduce 的编程模型的高度 灵活度使得 Hadoop 可以实现更细粒度的容错策略，其在错误场景下的性能有 很大的优化空间。BeTL 的核心思想为尽可能地复用各个任务已经完成的部分， 错误重试的尝试和推测执行尝试跳过已经完成的输入区间，最大程度地减小 IO 开销。 BeTL 利用 Map 任务在执行过程中产生的溢写文件，以此为基础创建检查 点。Reduce 任务不再消费 Map 任务产生的单个输出文件，取而代之的是这些零 星的检查点文件。在 Map 任务失败时，只要某个检查点文件仍然可用，新的重 试任务尝试就可以跳过该检查点对应的输入区间，这大大缩短了重试任务的耗 时。推测执行策略亦可以受益于 BeTL 的检查点策略，为此 BeTL 对 LATE 调 度器进行了细微的修改以增强推测执行的效果。本文还讨论了一些其他的优化 措施，包括 Combiner Cache 和弹性检查点创建特性，很大程度地减小了 BeTL — i — 基于自适应策略的 MAPREDUCE 检查点技术的研究与优化 上海交通大学工学硕士学位论文 带来的额外开销，且提高了检查点策略的效用。 最后，设计并执行了大量实验，对 BeTL 引入的所有新特性进行了认真的 评估，包括实验结果数据分析、理论推演与论证和实验数据佐证，BeTL 在零错 误与高密度错误场景下均优于原先的 Hadoop。在实践中，小的改动也可以带来 显著的性能提升，BeTL 正是一个典型的例子。深入细致地分析程序每一处的 瓶颈资源并做出相应的优化，可以达到事半功倍的效果。 关键词： Hadoop MapReduce 容错 自适应 检查点 任 务调度 推测执行 ii — 上海交通大学工学硕士学位论文 ABSTRACT Research and Optimization of Adaptive Checkpoint Technique in MapReduce ABSTRACT Big data is gaining its popularity during the last few years and it has become one of the most significant areas of computer science. The human beings are exploring their brand new knowledge acquiring pattern. The ability to efficiently gathe