智能配用电大数据存储架构设计-电力自动化设备.pdfVIP

第 36 卷 第 6 期 电 力 自 动 化 设 备 Ｖｏｌ．36 Ｎｏ．6 ２０ 16 年 6 月 Ｅｌｅｃｔｒｉｃ Ｐｏｗｅｒ Ａｕｔｏｍａｔｉｏｎ Ｅｑｕｉｐｍｅｎｔ Jun. ２０ 16 智能配用电大数据存储架构设计 葛磊蛟 1 ，王 守相 1 ，瞿 海妮 2 （ 天 津 大 学 智 能 电 网教 育部 重 点 实验 室 ，天 津 ； 国 网上 海 市 电力公 司 ，上 海 ） 1. 300072 2. 200 122 摘 要 ： 针 对智能配用 电数据 海量 、高维度 、多源异构等特 点 ，提 出一种 大数 据存储 的三层 管理框 架设 计 方案 。 首先 ，对 智 能配用 电数 据 组成进行 分 类划分 。 然后 ，提 出智 能配用 电数 据存储 的 资 源层 、元数 据层 和 实际数 据层 的三层 管理框 架 ，在 资源管理层 ，应 用虚拟化技 术 、 负载均衡 和 资源调度 完成对物理 资源的管理 ；在 元数 据 管理层 ，使 用数 据预 处理技 术对 智 能配用 电的元数 据进行 分 类 ，采 用 中间件技 术 完成 XML 元数 据仓 库 管 理 ；在 实际数据 管理层 ，利 用 NoSQL 技 术 ，通过 Map 和 Reduce 的有效 结合 ，完成 海量数 据 的分层 分 区快速存 储 。 最后 ，在 实验 室环境 下对该设 计 方案进行初 步 的应 用 ，验证 了所设 计 方案 能够对 结构化 、半 结构化 和 非 结构化数据进行 统一存储 ，可为智能配用 电大数据技 术 的应 用提供基础 支撑作 用。 关键词 ： 大数据 ； 海量数据 ； 框 架设计 ； 智能配用 电 ； 数 据 处理 ； 存储 中图分 类号 ： TM ７２1 文献标识码 ： A DOI ： 10.16081／ j .issn.1006－6047.20 16.0６.029 0 引言 信息系统 （GIS ）、配 电 SCADA／ EMS （能量 管理 系统 ）、 用 电信 息 采 集 系统 等 应 用 系统 的配 用 电运行 、计 量 大数 据技 术 正成 为各 行 各 业 的应 用 热 点 ，智 能 计 费等结构化数据 ，也包括 电力用户 、电网企业 等监 配用 电（SPDU ）作 为实现 电网资源优化 配置 、电能合 控平 台 中的 Web 页 面等 半 结 构 化 数 据 ，还 有 95598 理 利 用 、节 能 降耗 和 能 效 提 升 的重 要 手 段 ，不 仅 含 等 电力 客户 的文本 、音 频 、图片等非 结 构 化 数 据 ，这 有 量 大 面广 的 电力设 备 和应 用 系统 ，还 包 括 支 撑 这 些 结 构 化 和 非 结 构 化 混 合 数 据 在 网省 公 司年 存 储 些设 备 和 系统 正 常运行 的多种 途 径 、多类 型输 入 输 量 达 到 TByte 级 ，甚 至 PByte 级 ，从 存 储 的经 济 性 角 出海 量 数 据 ，并 且 这些 数 据 容 量 大 、采 集 频 率 高 、来 度考虑需要应用 大数据存储技术 ；此外 ，智 能配用 电 源渠 道 （电 网企业 、电力 用 户 、社会 资 源等 ）多样 、类 涉及 多应 用 系统 、多业 务 主体 、多用 户 对 象 等 ，随着 型复杂而价值密度低 。