基于Hadoop的广域测量系统数据处理.pdfVIP

第 ３７卷 第 ４期 Ｖｏｌ．３７ Ｎｏ．４ 　 　 年 月 日 ， ２０１３ ２ ２５ Ｆｅｂ．２５ ２０１３ ： ／ ＤＯＩ １０．７５００ＡＥＰＳ２０１１１１１６９ 基于 Ｈａｄｏｏ 的广域测量 系统数据处理 ｐ ， ， 曲朝阳 朱 莉 张士林 　 （ ， ） 东 北电力大学 信 息 工 程 学院 吉林 省 吉林 市 １３２０１２ ： （ ） 、 ， 摘要 为解 决 目前 广域测量系统 ＷＡＭＳ 海量数 据 处理 中存 在的数 据 冗余 处理 效 率低 等 问题 设 。 ， 。 计 并 实现 了一 个基于 Ｈａｄｏｏ 的 ＷＡＭＳ 数 据 处理 云计算 平 台 首先 给 出了平 台的体 系结构 其 ｐ ， （ ） 次 设 计 了基 于 Ｈａｄｏｏ 分 布 式 文 件 系 统 ＨＤＦＳ 存 储 的 ＷＡＭＳ 海 量 数 据 加 载 方 法 和 利 用 ｐ 、 （ ） 。 Ｍａ Ｒｅｄｕｃｅ模 型 实 现 多 个 文 件 数 据 的 并 行 抽 取 转 换 和 加 载 ＥＴＬ 操 作 流 程 提 出 了 结 合 ｐ ， 。 的 数 据挖掘 算 法 用 于高效 地挖掘 出连锁 故 障 时各站 点之间的 相 互影响 Ｍａ Ｒｅｄｕｃｅ ＭＰＡ ｒｉｏｒｉ ｐ ｐ ， ， 。 最后 通过 对 区域 电网 ＷＡＭＳ 实际数据进行 处理 验证 了 Ｈａｄｏｏ 处理 海量数 据 的 高效 性 所 述 ｐ 平 台适 用 于高性能局 域 网络连接 的计算机集 群对 海量电网数 据进行 文件数 据 处理 。 ： ； ； ； 关键词 云计算 数 据 处理 广域测量系统 Ｍａ Ｒｅｄｕｃｅ ｐ “ ”， ０ 引言 私有 云 整合 电力系统现 有 的计 算 能 力和 存 储 资