面向多核集群的层次化mapreduce模型的设计与实现计算机软件与理论专业论文.docxVIP

优秀毕业论文 精品参考文献资料 而向 而向多核集群的层次化M apReduce模型的设计与实现 H ai_ 7.3 几 种 不 同 并 行 方 式 的 比较 4 0 7 .4 整 体 性 能 分 析 ‘ 42 7 .5 缓 存 系 统 的 有 效 性 4 3 7 .6 系 统 资 源 利 用 率 4 5 7 .7 A zw r a i th 性 能 趋 势 分 析 4 6 第 八 章 总 结 与 展 望 4 7 8 .1 创 亲万与 贡 献 4 7 8 .2 进 一 步 研 究 设 想 4 7 参 考 文 献 4 9 致 谢 5 1 in 而 向多 而 向多核集 群 的S 次化 M apR ed uce 校：型的设计 与实现 摘 耍 摘 要 M apR educe 是 由 G oogle 公 司提 出的一种并 行编程模 型， 由于模 型本身非常 简 单而 又具有 丰 富 的表达 能 力 ，很 快变成 为 G oogle 内部 系统 架构 的基 本计 算框 架 。H adoop 是 M apR educe 的开源 实现 ，由于 Y ahoo !等 大数据 公 司 的投 入 ,H adoop 系 统 得 到 迅 速 的 发 展 和 普 及 。 M apR educe 编程模 型 的简洁性和 H adoop 开源 实现 的 出现 ，使得 由普通机器 组 成 的 集 群 有 更 多 的 机 会 运 行 各 种 大 规 模 数 据 处 理 应 用 程 序 。这 些 集 群 上 的 节 点 往 往 都 配 备 了 多 核 处 理 器 ，也 就 是 多 核 集 群 。这 些 多 核 集 群 中 通 常 会 有 多 个 层 次 的 数 据 局 部 性 和 并 行 性 ，它 们 对 整 体 性 能 都 有 影 响 。但 是 目前 很 少 有 研 究 去 分 析 、 优 化 这 类 系 统 上 的 应 用 程 序 的 性 能 。 木 文 将 选 取 具 有 代 表 性 的 Map R e du c e 应 用 程 序 ，分 析 其 在 多 核 集 群 上 的 性 能 瓶 颈 。 目前 主 流 的 M a p R ed u c e 实 现 H a d o op 是 运 行 于 J av a 虛 拟 机 之 上 的 ，我 们 的 研 究 标 明 这 种 基 于 J a v a 虚 拟 机 的 运 行 时 （主 要 是 任 务 执 行 器 ） 在 单 机 上 并 不 能 充 分 利 用 数 据 局 部 性 和 任 务 并 行 性 。 基 于 这 个 分 析 ， 本 文 提 出 层 次 化 M ap R edu c e 模 型 来 对 H a do op 进 行 扩 展 ， 并 将 一 个 共 享 内 存 多 核 系 统 上 的 M ap R e du c e 实 现 集 成 到 H a d o op 上 来 ，我 们 的 原 型 系 统 称 为 A zw r a it h 。 为 了 复 用 跨 任 务 间 的 数 据 ， A zw r a it h 还 实 现 了 一 个 基 于 共 享 内 存 的 高 速 缓 存 模 块 ， 从 而 显 著 地 降 低 网 络 和 磁 盘 的流 量 。这 样 的 层 次 化 M a pR e du c e 模 型 使 得 M a p R e du c e 程 序 能 够 在 单 机 和 集 群 这 两 个 层 次 上 充 分 利 用 系 统 的 数 据 局 部 性 和 任 务 并 行 性 。 性 能 测 试 是 在 一 个 7 台 节 点 组 成 的 小 规 模 集 群 上 完 成 的 。实 验 数 据 显 示 ，实 现 了 本 文 提 出 的 各 种 优 化 的 A zwr a it h 系 统 ，能 提 高 原 始 H a d o op 实 现 1.4 倍 到 3 . 5 倍 的 性 能 。 关键词 ：M apR educe，性能，多核 中 图 分 类 号 ： T P 3 0 2 .1 而 向多 而 向多核 集 群 的 层 次化 M apR educe 校 型 的设 计 与 实现 A b stra c t A b s tr a c t M ap R ed u ce is a p arallel p ro gram m in g m o d el pro p o sed by G o og le, w h ich