面向MapReduce的节点性能检测与任务调度方法分析-计算机科学与技术专业毕业论文.docxVIP

国防科学技术大学研究生院硕士学位论文 国防科学技术大学研究生院硕士学位论文 国防科学技术大学研究生院硕士学位论文 国防科学技术大学研究生院硕士学位论文 万方数据 万方数据 第 PAGE 第 PAGE IV 页 万方数据 目 录 摘 要 i ABSTRACT ii 第一章 绪论 1 1.1 研究背景 1 1.1.1 云计算技术 1 MapReduce 分布式计算框架 2 Google 文件系统简介 2 MapReduce 编程框架工作原理简介 2 1.3 问题与挑战 4 1.3 本文的主要研究工作 5 1.4 论文结构 6 第二章 相关研究 7 2.1 MapReduce 现有调度方法研究 7 2.1.1 FIFO 方法 7 2.1.2 计算能力调度方法 8 2.1.3 公平调度方法 8 2.1.4 Kill-restart/Keep-restart 调度方法 9 2.2 阿里云飞天开放平台简介 11 2.2.1 分布式文件系统 12 2.2.2 资源管理和任务调度 13 2.3 本章小结 14 第三章 支撑 MapReduce 任务调度的分布式节点半失效检测方法 15 3.1 分布式节点半失效检测技术 15 3.2 半失效节点检测 16 3.2.1 共享存储资源的 MapReduce 计算环境 16 3.2.2 节点间信息交互 18 3.2.3 算法实现 19 3.3 判定半失效节点 20 3.4 实验结果 22 3.5 本章小结 24 第 I 页 第四章 基于节点性能的分布式动态任务调度方法 25 4.1 分布式动态任务调度方法 25 4.2 调度方法分析 26 4.2.1 平均分配法 26 4.2.2 动态调度法 27 4.2.3 基于节点性能的调度优化 27 4.3 基于节点性能的任务重分配 28 4.4 实验结果 31 4.5 本章小结 33 第五章 基于阿里云飞天平台的实验验证 35 5.1 Trace 数据分析及关键数据提取 35 5.2 半失效节点的检测 40 5.3 任务调度 46 5.4 本章小结 49 结 束 语 50 致 谢 52 参考文献 53 作者在学期间取得的学术成果 56 国防科学技术大学研究生院硕士学位论文 国防科学技术大学研究生院硕士学位论文 国防科学技术大学研究生院硕士学位论文 国防科学技术大学研究生院硕士学位论文 第 II 第 III 页 万方数据 第 PAGE 第 PAGE IV 页 万方数据 表 目 录 表 3.1 计算节点上的信息更新过程 19 表 3.2 计算节点上的信息上传过程 19 表 3.3 调度器上的信息接收过程 19 表 3.4 调度器上的信息接收过程 20 表 3.5 单个节点的任务执行时间实例 21 表 4.1 计算作业完成时间过程 29 表 4.2 判断完成时间是否可行过程 30 表 4.3 计算节点请求任务重分配过程 31 表 4.4 调度器任务重分配过程 31 表 4.5 两种调度方法下的运行状况 33 表 5.1 单个任务的运行日志 35 表 5.2 日志中各变量含义 36 表 5.3 运行最快的 10 个任务 37 表 5.4 运行最慢的 10 个任务 37 表 5.5 单个节点完成任务情况 38 表 5.6 运行最快的 10 个节点 39 表 5.7 运行最慢的 10 个节点 40 表 5.8 执行各任务数量的节点数 40 表 5.9 交互过程中上传节点数量与群体参考时间 42 表 5.10 各计算节点去除异常数据情况 43 表 5.11 潜在的半失效节点 44 图 目 录 图 1.1 MapReduce 数据处理流程图 3 图 1.2 长尾现象实例 4 图 2.1 FIFO 方法实现流程 7 图 2.2 计算能力调度方法实现流程 8 图 2.3 公平调度方法实现流程 9 图 2.4 Kill-restart 方法实现流程 10 图 2.5 Keep-restart 方法实现流程 11 图 2.6 飞天开放平台体系架构 12 图 3.1 MapReduce 计算环境 16 图 3.2 MapReduce 环境下节点性能评价过程 17 图 3.3 共享存储资源的 MapReduce 计算环