发电企业数据仓库的设计与实践.docVIP

发电企业数据仓库的设计与实践 　　摘要：数据仓库设计是指导企业数据体系建设，打破信息孤岛，实现企业信息数据共享的重要环节。文章对数据仓库设计中所涉及的总体要求、总体架构、 技术架构、数据模型设计、数据管理体系设计、数据采集与应用集成等重点环节进行了总结，并结合某发电集团就数据仓库的实际设计案例进行了分析和探讨，为企业构建一个先进、实用的数据仓库提供了参考。 　　关键词：数据仓库； 设计； 数据模型； 数据采集； 应用案例 　　中图分类号：TP311.13 文献标识码：A 文章编号：1009-3044（2015）05-0025-02 　　1 引言 　　数据仓库的设计是指导数据体系建设，打破信息孤岛，实现企业信息数据共享的重要环节。它能够实现应用与数据分离，实现数据从部门到企业的提升，建立数据转换为价值的体系，让数据发挥出企业核心资源的效用，从而最终实现数据的增值[1]。 　　随着企业快速发展与各类信息化系统建设的深入开展，某发电集团出于自身对于信息化发展的需求，按照企业信息化规划所确定的“顶层设计、统一规划”和“试点先行、分步实施”的建设原则，开展了数据仓库系统方案和数据体系规范的设计工作。这其中所涉及的核心和关键环节在这里与大家展开研究和探讨。 　　2 数据仓库的设计 　　2.1 数据仓库设计的总体要求 　　数据仓库是在企业应用系统建设基础上，为了进一步挖掘数据资源、为了决策支持需求而建设。它实现跨层级的数据抽取和共享。将企业各个应用系统的数据进行统一抽取，实现跨层级应用系统的数据抽取和共享[2]，它为企业上层的BI应用提供数据源。数据仓库作为BI系统的数据输入源，其作用是提供不同分析主题的数据模型和数据统计，确保企业层面数据的完整和统一。 　　某发电企业的数据仓库项目作为一期试点建设，项目设计的重点要求考虑如下： 　　1）搭建可线性扩展、高性能、易管理的数据仓库平台。由于数据仓库的基础性和稳定性，通过项目搭建全企业统一的数据仓库平台，其建设不仅需考虑企业本期数据采集的数据存储量，还应重点从数据仓库未来的发展定位与要求来考虑搭建方案。 　　2）设计全面、合理、稳定的数据仓库模型。数据仓库数据模型是数据仓库建设的核心工作之一，数据仓库中各层级（整合层、汇总层）的逻辑数据模型和物理数据模型，应满足企业基于数据主题的数据存储需要。 　　3）以分析模型作为需求驱动，设计实用、清晰合理的数据集市多维模型。基于数据仓库数据模型，以分析模型作为需求驱动，设计试点业务域的数据集市数据模型，使其具备实用、清晰合理的特点，并能在建设过程中不断验证、完善、优化与拓展，满足业务分析与设计的需要。 　　4）以企业已建的数据总线平台为手段实现相关数据主题的数据采集与共享服务。数据仓库建设主要目的为满足数据共享与综合分析需求，核心内容为数据资源，项目建设重点就必须以企业数据总线平台，实现系统间的数据集成工作。同时，借助数据总线平台的应用集成功能，实现数据共享的服务化管理。 　　2.2 总体架构设计 　　企业数据仓库设计建设应体现“数据与应用分离、数据为应用服务”的理念，基于开放性与先进性、活性与可维护性、可扩展性与可伸缩性、安全性与可靠性、可用性和容错能力、准确性与实时性、易用性和完整性等原则开展数据仓库的总体架构设计。 　　1）总体架构 　　数据仓库的总体架构是数据体系总体框架内细化设计，是整个企业的数据仓库总体架构，它包括支撑平台层、数据源层、数据集成层、数据存储层、数据管理层、数据应用层、数据展现层共七层，以及数据安全保障体系、数据标准规范体系。 　　其中数据存储层的设计根据企业的实际情况设计为三个部分组成，包括了操作型数据存储层（ODS）、数据仓库层（DW）、数据集市层（DM）。DW作为所有分析功能的单一数据源。ODS身兼二职，一方面保持与源系统的业务数据同步以满足一些实时性应用的数据需求，另外作为数据加工区为仓库提供数据加工服务。DM作为最终的前端分析、报告提供支持数据集市的数据是面向最终应用的，比如财务分析。数据集市的数据基于数据仓库之上进行汇总加工而成[3]。 　　2）技术架构 　　根据企业对数据仓库的实际应用分析技术架构设计采用分布式计算架构、基于MPP结构的并行计算数据库系统进行数据仓库平台构建。 　　技术架构中展示层将采用“富客户端”技术，减轻服务器的负担，无刷新更新页面，提高用户体验，方便用户操作。 　　控制层负责接收来自于展示层的请求，验证请求的数据，调用相应的业务逻辑进行数据处理，并将处理结果返回给展示层。包括了数据验证、日志处理、安全认证、权限验证、缓存处理、流量控制等功能。 　　业务处理层接收控制层传来的指令，负责加工和处理业务数据，如果处理成功则更新数据存储内容，如果处