基于分布式对象缓存电力信息系统任务调度方法.pdfVIP

ELECTRIC POWER ICT 中图分类号：TP319　　文献标志码：B　　文章编号：2095-641X(2014)04-0019-06 基于分布式对象缓存的电力信息 系统任务调度方法 1 2 唐云善 ，魏勇 （1. 国网电力科学研究院 ，江苏 南京 210096 ；2. 国网河北省电力公司 ，河北 石家庄 050000 ） 摘要：根据电网数据特征 ，提 出基于树形结构分布式对象缓存 的任务调度算法。算法将业务数据封装 成数据对象 ，将工作任务抽象成任务对象 ，按照树形结构将数据对象和任务对象分布到集群计算机各 节点 ，实现对象分布式的并行计算。设计 了对象化并行计算框架并选取 电网可靠性计算典型业务场 景 ，对算法进行 了验证和应用。算法对大幅提升数据型 电网统计分析的计算效率具有重要作用。 关键词：调度方法；树形结构；分布式计算；对象化并行计算框架 技 术 到最终结果 。其 中分 布式任务调度策 略和算法是直 研 0　引言 究 接影 响分布式并行计算框架运行效率 的核心技术 。 与 随 着 国 家 电 网公 司 SG 186[1] 工 程 建 设 和 SG- 目前 ，MapReduce[7-9] 分 布 式 计 算 框 架 是 比较 应 ERP[2] 系统 的深化应用 ，信息系统在 电网各业务领域 成 熟 的可用 于大数 据 [10- 13] 分 析处 理 的主流框 架 ，最 用 快 速 拓展 并 得 到深 入 应 用 。然 而 ，由此 带来 的数 据 早 由 google 公 司提 出并 实现 ，用 于解决互 联 网站 系 量激增导致 系统运行效率低下 的问题 日益 突 出。国 统 的大数 据 分 析 处 理 。Hadoop 是 google 公 司分 布 家 电网公 司 已有 的信息 系统基本采用 总部一级部署 式存 储 、分 布式计 算 框 架 的开 源实 现 ，Hadoop 也 实 或 总部 、省两级部署 ，数据存储采用集 中式磁盘关 系 现 了 MapReduce 大 数 据 处 理 框 架 。 在 Hadoop 的 数 据 库 ，应 用 服务 采 用 基 于小 型服务 器 的集 中式 服 MapReduce 框架下 ，用户 的任务被分成 Map 环节 和 务 ，服务 器 通 过访 问集 中式 磁 盘关 系数 据 库 对 外 提 Reduce 环 节 ，通 过 Map 环 节将 任 务 拆 分 成 子 任 务 ， 供业务服务 。当磁盘关 系数据库 中的数据量增大后 ， 通 过 Reduce 环 节 执 行 子 任 务 ，最 后 汇 总得 到结 果 。 应用 服务 和数据库之 间 的 I/O 性 能瓶 颈及应用 服务 MapReduce 的任 务 调 度 策 略是 基 于 Map 任 务 输 入 本身 的性 能瓶颈逐渐 凸显 ，导致 系统运行效率低下 。 数据 的 ，输入数据源可 由框架使用者进行定义 ，在采 问题 的根 源在 于 系统架 构 不 够柔 性 ，不 具 备 横 向扩 用 Hadoo