电力数据仓库及其数据挖掘应用的研讨.pdfVIP

电力数据仓库及其数据挖掘应用的研究 南京供电局 周 呖 沈祝园 0 引 言 随着电力体制改革的不断深入，在电力行业完成组织机构重组和区域的重新划分之后，厂网分开、竞价上网 的经营模式逐步变为现实，这意味着电力行业将取消垄断，逐步形成健全合理的竞争机制。为了在竞争中取得成 功，电力企业需要一个既集成、优化原有各应用系统，又能满足当前和未来挑战性需求的综合实时的应用服务系 统，这种需求使得电力信息化建设进入一个全面快速发展的崭新时期。 目前，很多电力企业虽然已实施了各种信息管理系统，但这些系统通常构筑在不同的平台之上，导致了系统 之间缺乏良好的信息沟通。此外，电力行业内部组织的分散性，决定了各个组织之间的同一个系统要真正实现互 通，也非易事。许多复杂的综合、统计与分析工作还要由人工完成。因此电力企业的信息化建设往往没有取得预 期的效果。 1 建立数据仓库的意义 整个80年代直到90年代初，联机事务处理一直是数据库应用的主流。然而，应用在不断地进步。当联机事 务处理系统应用到一定阶段后，用户便发现单靠拥有联机事务处理已经不足以获得市场竞争的优势，他们需要对 其自身业务的运作以及整个市场相关行业的情况进行分析，而做出有利的决策。这种决策需要对大量的业务数 据包括历史业务数据进行分析才能得到。在如今这样激烈的市场竞争环境下，这种基于业务数据的决策分析，比 以往任何时候都显得更为重要。如果说传统联机事务处理强调的是更新数据库——向数据库中添加信息，那么 1GmbaU写道：“我们花了 联机分析处理就是从数据库中获取信息、利用信息。因此，著名的数据仓库专家Ralph 二十多年的时间将数据放人数据库，如今是该将它们拿出来的时候了”。 实际上，将大量的业务数据应用于分析和统计原本是一个非常简单和自然的想法。但在实际的操作中，要获 得有用的信息并非如想象的那么容易，这主要表现在以下几点：所有联机事务处理强调的是密集的数据更新处理 性能和系统的可靠性，并不关心数据查询的方便与快捷。联机分析和事务处理对系统的要求不同，同一个数据库 在理论上都难以做到两全。业务数据往往存放于分散的异构环境中，不易统一查询访问，而且还有大量的历史数 据处于脱机状态，形同虚设。业务数据的模式针对事务处理系统而设计，数据的格式和描述方式并不适合非计算 机专业人员进行业务上的分析和查询。 数据仓库是一个联机的系统，它是专门为分析统计和决策支持应用服务的，通过它可以满足决策支持和联机 分析应用所要求的一切。它是一个作为决策支持系统和联机分析应用数据源的结构化数据环境。数据仓库所要 ’ 研究和解决的问题就是从数据库中获取信息的问题。 。 经过多年的信息化建设，南京供电公司已建成调度自动化系统、配网自动化系统、营销信息系统、财务管理系 统、生产管理信息系统等许多应用系统，并在公司的生产、经营和安全等各方面发挥了举足轻重的作用，积累了大 量宝贵的信息数据资源，特别是调度和营销两大系统沉淀了大量的历史数据。但是这些宝贵的信息资源都分别 存储在各个孤立的应用系统当中，未能实现各应用系统间的信息共享，信息孤岛在各企业中普遍存在，现有的应 用系统大多只是满足了企业局部的需求，并不能实现企业对整体业务运作和流程管理的全面掌控。 这种来自深层次应用的需要，要求企业不仅能够访问并综合来自各种数据来源的数据，还能通过挖掘现有的 数据资源，捕捉、分析和沟通信息，进行复杂的数据分析，多层次多视角地察看跨主题和跨业务范围的信息，发现 许多过去缺乏认识或者未被认识的数据关系，从而帮助企业决策者做出正确的决策，这些数据采集及挖掘工作都 必须建立在一个结构良好的数据仓库的基础上。 2数据仓库的原理和特点 2．1数据仓库的原理 数据仓库是信息数据库的具体实现，用来存储源自各相关业务数据库的共享数据。典型的数据仓库应该是 64 一个主题数据库，支持用户从巨大的运营数据存储中发现信息，支持对业务趋势进行跟踪和响应，实现业务的预 测和计划。数据仓库在数据分析和决策方面为用户提供如下服务： ■信息处理：支持查询和基本的统计