一种周期性MapRedue作业的负载均衡策略c摘要.PDFVIP

第 卷 第 期 计 算 机 科 学 ４０ ３ Ｖｏｌ．４０Ｎｏ．３ 　 年 月 ２０１３ ３ Ｃｏｍ ｕｔｅｒ Ｓｃｉｅｎｃｅ Ｍａｒ２０１３ ｐ 　 　 一种周期性 作业的负载均衡策略 Ｍａ Ｒｅｄｕｃｅ ｐ 傅 杰 都志辉 　 　 （ ） 清华大学计算机科学与技术系 北京１０００８４ 　 　 摘 要 任 务 负载均衡主要是通过分 区函数 来 实现的 ， 默 认 的分 区函数并 不 能很 好 地 保 证 Ｍａ Ｒｅｄｕｃｅ Ｈａｄｏｏ ｒｅｄｕ 　 　 ｐ ｐ － 。 ， 的 负载均衡 针 对 周期 性的 业务 处理提出 了一种 基 于权 重 计算的 负载均衡 策略 周 期 性 任 务 的数据 分 布 与 历 史数 ｃｅｒ 。 （ 据相 比具 有相 似 性 本 策略根 据 历 史数 据 运 行 的信 息 运 算 出 数 据权 重 信 息 文 中用权 重 表 示 每 条 记 录 的 处 理 复 杂 ）， ， 度 再 通过 Ｍａ 阶段 抽 样 分析 当前这批数 据 的 分布 特 征 来 预 测 待 处 理 数 据 带 权 重 的 整 体 近 似 分 布 情 况 从 而 指 导 ｐ ， 。 ， Ｒｅｄｕｃｅ分 区 以保 证 其 负载均衡 通过 简单 的例 子仿 真 了整个策略 的运 作 过 程 并 且 对 比 了 与 ＴｅｒａＳｏｒｔ思路 的 不 同 点 。最后通过分析用 户访问视 频 的日 志证 明 了文 中提到 的策略 比默认 的策略性 能提 高 了接近 倍 。 １ ， ， ， 关键词 Ｍａ Ｒｅｄｕｃｅ ＴｅｒａＳｏｒｔ 负载均衡 周期 性 　 ｐ 中图法分类号 ＴＰ３１１．１ 文献标识码 Ａ 　 　　　 　 　 ＬｏａｄＢａｌａｎｃｉｎ Ｓｔｒａｔｅ ｏｎＰｅｒｉｏｄｉｃａｌＭａ ＲｅｄｕｃｅＪｏｂ 　 ｇ ｇｙ 　 　 ｐ