智能电网海量数据实时搜索技术研究-电力信息与通信技术.PDFVIP

ELECTRIC POWER ICT 中图分类号：TP274　文献标志码：B　文章编号：2095-641X(2016)12-0038-08　DOI：10.16543/j.2095-641x.electric.power.ict.2016.12.007 智能电网海量数据实时搜索 技术研究 吴秋莉，郭丽娟，吕泽承，邬蓉蓉 （广西电网有限责任公司 电力科学研究院，广西 南宁 530023 ） 摘要：为满足智能电网对海量状态监测数据搜索的实时性要求，文章结合智能电网海量状态监测数据 特点，提出一种分布式实时数据库动态索引技术。将NoSQL数据库的分布式索引技术、并行处理技 术以及高可用性技术（HA ）与当前多个单体数据库构建的存储网络相结合，采用动态反馈机制自动完 成节点间的负载均衡，通过并行计算构造动态索引，实现了电网状态监测点数据在分布式环境中的快 速检索与自调整功能，并通过屏蔽底层数据库网络的复杂结构，为用户提供了统一的数据搜索接口。 测试结果表明，该技术满足智能电网业务系统对数据库搜索的实时性和扩展性要求。 关键词：分布式实时数据库；动态索引；动态反馈；负载均衡；高可用性 电 力 大 数 0　引言 行 了探索 ，文献 [1] 针对综合 自动化 系统 中需要 大量 据 数据写入 的特点 ，论述 了基 于 内存 的实 时数据库 ，通 随着 智 能 电 网 的迅 速 发 展 ，监 测 系统 接 收 的数 过在 内存 中将数据缓存 ，然后写入数据库 的方式提高 据 规模 和数 据 种类 迅 速增 加 ，海 量 非 结 构 化 数 据 的 系统 的实 时性；文献 [3] 提 出了一种基 于分布式文件 实 时存储成 为亟需解决 的问题之一 。而传统实 时数 系统 的海量 电能质量监测数据管理方案 ，将历史监测 据 库 索 引技 术 主要 针对 基 于关 系型 的结 构 化 数 据 ， 数 据压 缩后存 储 在 分 布式 异 构 服务 器 上 ，在监 测 主 其构建 的非结构化数据索 引在性 能和数据库 资源 占 站保存数据特征值 和文件索 引 ，提高 了存取效率；文 用 方 面都 难 以满 足智 能 电 网 的发展 需 要 ，尤 其 在 实 献 [4] 提 出了一种大数据搜索方法 ，将共享 的历史查 时性方 面 [1-2] 。研究 可支持海量数 据存储 、分 布式冗 询结 果 作 为 中间结 果 集 ，新 查 询若 与历 史 查 询 匹配 余备份 、可动态调整 、高可用性 的动态索 引技术 的呼 则 直 接 返 回请 求 结 果 ，从 而减 少 了大量 的对 历 史 查 声 日益 高涨 。用 户 在 高 实 时性 数 据访 问时 ，无 需 了 询 的重 复计算 ，提高 了查 询效率；文献 [5] 在遗传模 解 服务器节点 的网络架构及其 副本具体存储 在 哪个 拟退 火 混合 算 法