【精品】南方电网公司数据仓库与决策支持系统解决方案17.docVIP

南方电网公司数据仓库与决策支持系统解决方案 解文艳（广东省电力设计研究院网络信息部， 广州 510600） 何可立（南方电网公司信息中心， 广州 510600） 摘要：南方电网公司是一个覆盖区域广、业务构成复杂、组织机构和人员数量庞大的特大规模经营管理型企业集团。在电力系统发展的过程中，企业积累了大量的业务数据和管理数据，满足了各层次生产和监督管理的需要，随着企业的发展，建立起支持企业经营决策活动的企业数据仓库和决策支持系统显得异常至关重要。 概述 随着电力系统的发展，目前各相关的业务系统中已经包含了部分决策支持功能，但是这些决策支持功能基本还是部门级的，服务于企业的某一业务体系，对于整个公司而言，需要开发企业级的决策支持应用。 决策支持系统数据仓库(DW)、联机事务分析(OLAP)、数据挖掘(DM)等技术，紧密结合电力行业各种分析和决策模型，对各种业务数据进行多层次、多角度的分析和挖掘，揭示内在规律、变化趋势和潜在问题，形成极具决策价值的战略信息，提供更加有效的决策支持手段，提高各级决策者和管理者的科学决策水平。决策支持应用的基础是综合化的数据。通常，现有的业务系统已经积累的大量的数据，但这些数据分散在不同应用系统的数据库中，没有被集中起来形成综合的、全面的、准确的、一致的数据。一方面造成大量的数据无法得到有效使用，另一方面决策层在决策过程中，往往不能及时得到需要的数据。建设目标是： 以数据为基础，建立覆盖、、、财务、物流等各项业务数据的操作数据库和数据仓库，为决策支持系统奠定良好的基础； 逐步为各层次的管理者和决策者提供包括KPI、统计报表、OLAP、数据挖掘在内的决策支持服务。 整个系统从数据的流向，可以分为原始数据层，操作数据层，数据仓库层，数据首先是从原始的业务数据库中，通过ETL (Extraction Transformation Loading) ,将数据加载到数据仓库中；决策支持系统利用数据仓库中的数据，采用分析工具进行各种KPI指标的分析。 3.1数据仓库 数据仓库系统是针对日益增长的海量信息，为达到支持经营管理中高效的分析决策目的，在传统数据库基础上发展而来的。数据仓库系统主要具有以下特点： 海量数据：数据仓库系统的数据存储量是海量的，大型数据仓库系统的数据量是TB级的，相当于一般数据库系统的100倍以上。 数据稳定：业务数据库的数据经常发生变更，而数据仓库中的数据是经过处理确认后的历史数据，进入数据仓库后极少甚至不更新。 数据集成：数据仓库中的数据来自多个数据源，必须进行统一数据结构和编码，并进行正确性和一致性检查，以及拆分和聚合等加工处理，完成从原始数据结构到面向主题数据结构的转变后，再进入数据仓库系统。 面向主题：在数据仓库中，数据面向主题进行归类和存储，形成以事实表为中心、维度表为约束的星型或雪花型结构。 随时间变化：为适应常用的时间趋势分析，数据仓库中的数据一般应带时间标记，存储按时间序列的历史数据。 对软、硬件的要求较高：为适应数据仓库系统的海量存储和快速检索和分析，数据仓库系统对软件和硬件支撑平台方面提出了较高的要求。 由于数据仓库系统面向整个企业的所有信息方面，实施的工作量和成本是巨大的，针对南方电网公司当前的信息状况，数据集市是一个较适宜的工具。 数据集市是指具有特定应用的数据仓库，主要针对部门级的数据和管理模式，数据集市的主要特点为： 具备数据稳定、面向主题等数据仓库系统的特点。 规模较小，一般面向特定的部门或应用，因此可以较好地实现个性化分析需求。 实施成本较小，对软、硬件的要求不太高。 相关的数据集市之间可能有部分冗余但不一致的数据和应用。 多个数据集市系统在进行整合后，可升级为数据仓库系统。 数据仓库/数据集市需要从公司总部和各分、子公司之间根据数据模型进行数据抽取到数据中心，如下过程： 南方电网公司企业数据仓库的数据源主要有两方面： 各下属分公司和子公司：由于目前各分、子公司正在进行企业应用集成的工作，正在建立省、市两级区域数据中心；因此南方电网公司可以直接通过省级数据数据中心进行数据的获取。 公司总部：目前南方电网公司总部的各管理系统将逐步建设，通过规范各信息系统的设计，要求各系统提供开放式的灵活数据适配器，通过可操纵的数据抽取模块自动进行数据抽取。 为保证数据仓库系统与其他相关系统的独立性，将建议采用以下几种模式进行数据 传递： 1）数据库方式：允许数据仓库系统从其它系统的数据库中直接提取数据，例如通过ODBC、JDBC等接口； 2）文件方式：按照双方约定的格式，将数据文件发送给数据仓库系统； 3）数据库转储(dump)文件：通过特定处理程序，可以直接处理其他相关系统数据库dump的文件。 4）企业应用接口（EAI）：通过文件、网络服务等方式对企业间不