综述数据仓库技术在配网自动化中应用.docVIP

综述数据仓库技术在配网自动化中应用 　　摘 要:针对配电网的实际情况介绍数据仓库技术,结合配网自动化讨论了数据仓库在配网自动化中的应用,提出了配网数据仓库的总体结构,并着重讨论了配网中数据仓库的设计。 关键词: 数据仓库配网自动化数据模型 中图分类号：C37 文献标识码：A 文章编号： 数据仓库定义为:”数据仓库是支持管理决策过程的、面向主题的、集成的、随时间而变的、持久的数据集合”。与传统数据库相比,有以下几点区别: (1)目标 传统的数据库主要用于企业各部门业务数据处理,是事务驱动方式;数据仓库的建立则是用于数据分析与决策分析,属于分析驱动方式。 (2)运行数据 由于驱动方式不同,因此传统数据库的数据是非常详尽的结构化的与业务相关的当前数据信息;而数据仓库的数据则是由商务模型决定的非结构化的,经过对历史数据汇总、筛选、聚合、分割、叠加等操作方式产生,还可以包含各种图文资料、规则等数据。 (3)容量 用于数据分析的数据仓库,其数据容量一般是传统数据库的103~106倍,可达TB(1012Byte)数量级。而且数据可以跨越数据库的不同版本,可以存储在多个存储介质上。 电力系统的运行和管理将产生大量的数据,尤其SCADA和MIS等系统保存了大量的实时系统运行信息、原始营业数据和其它详细资料,这些数据真实地反映了电力用户情况和电力企业的实际运行状况。但如何对这些大量的数据进行有效的统计、分析、预测和评估,从中快速准确地提取用于电力企业科学决策的信息,为管理决策提供依据,是有别于已建立的MIS等系统的重点工作。对于配网企业而言,对用电特征的分析对于企业取得更大的经济效益有着重要的作用,在当今电力市场形势下也尤为必要。而传统的数据库及其应用程序只能对许多细节的、结构化的数据进行处理,而对这种分析需要则无能为力。因此,数据仓库技术应运而生。它突破了传统的简单的数据库表模式应用,更为贴近决策思维过程,能代替决策者进行复杂的数据与信息的处理,并及时提供正确决策所需的全部信息。对数据仓库在电力系统中的应用已经有了一些探讨,针对地区级配网的应用也作了一些尝试。 1 数据仓库系统的总体架构 首先以扬州智能配电网为例,说明数据仓库在配电网中的应用,总体架构如图1所示。 1.1 数据源 建立配电网数据仓库要确定数据源,包括几个方面的数据: 电信息等,主要的数据:用户表、用户购电表、每日耗电表等。这些数据主要由电力MIS数据库中读入。 (2)电网实时数据 包括每天96点的负荷、电压、电流等数据的实时参数。这些数据主要由SCADA和EMS数据库中读入。 (3)电力设备台帐及地理信息 包括主要设备的性能参数、固定资产、网络地理分布等数据。这部分数据主要由电力MIS和GIS数据库中读入。 (4)其他的数据 如可靠性计算结果、系统安全校验结果等专用软件计算结果也需要读入。所有这些数据源中有些是需要经常更新的,如电网实时数据等。而如设备台账等信息则应当在数据源的数据变更后才重新导入数据仓库中。 1.2 数据处理 通过专门的数据接口对数据源进行数据的提取、转换、清洁,进入数据仓库中。数据处理模块要实现的功能包括数据的提取和转换装载、元数据的建立和数据仓库的建模。所有这些数据都存储到中央数据库中。由于各数据源采用不同的数据组织形式和操作系统平台,加上应用的不同可能造成的数据不一致问题,所以在构建数据仓库时必须通过数据转移工具将这些数据按一定的规则集中到数据仓库中,从而保证数据的一致性,达到充分利用各种数据源的目的。 对于从异构数据库中提取数据可以采用ODBC或OLE DB等通用接口,也可针对不同的数据库编写专用的接口程序。 数据处理需要针对不同的数据源按一定的时间规则对数据仓库中的数据进行刷新与重新综合。 1.3 数据仓库 存储数据以供分析使用。根据不同的分析要求,数据按不同的综合程度存储。它类似于一个中央数据库,但又不同于传统的数据库。由于数据庞大,故宜采用C/S结构。 1.4 数据分析与挖掘 建立数据仓库不仅是为了存储量的信息,更重要的是要对这些大量的数据进行分析处理,从而为决策提供有效的寿命。因此,数据分析与挖掘是总体架构中必不可少的重要环节。它包括以MIS为代表的查询报表工具,以OLAP(联机分析处理)为代表的验证型工具,以DM(数据挖掘)为代表的挖掘型工具。研究需要提取各种各样的原始资料,传统的查询手段主要通过编写程序来实现,这样做的模式是固定的,且维护工作量大。如果使用数据仓库的前端查询工具,它能提供随机查询的功能,研究人员可以进行任意条件、任意模式组合的查询,而不需要编写任何程序。同时,利用数据仓库前端分析工具