电力行业数据模型梳理方法的研究和实践经验分享.docVIP

电力行业数据模型梳理方法的研究和实践经验分享 目录 TOC \o 1-9 \h \z \u 目录 1 正文 1 文1：电力行业的数据模型梳理方法 1 文2：电力企业协同数据模型研究 6 一、新形势下电网企业建立协同数据模型的价值 6 （一）电网公司传统数据集成的不足 6 （二）电网公司建立协同数据模型的价值 7 二、电网企业协同数据模型的建立 7 （一）模型设计思路 7 （二）协同数据模型体系结构 9 参考文摘引言： 9 原创性声明（模板） 10 正文 电力行业数据模型梳理方法的研究和实践经验分享 文1：电力行业的数据模型梳理方法 引言 [基金项目：国家自然科学基金资助项目（ 互联网和移动及智能技术的传播，已经从根本上改变了商业数据的面貌和曝光度，数据量和数据种类不断增加。未来十年内，数据将成为一个重要的财富创造来源，并且将越来越多地被视为一项值得重视的企业资产[1]。而数据治理是理清企业数据资产的核心工作，在电力行业进行数据治理的时候，总会发现基本类似的问题： 1、企业内IT系统越来越多，其复杂度也越来越高，没有人能说明清楚整个系统的数据架构和数据流向，数据架构与业务流程、应用架构之间的关系不清晰。“黑暗”数据（指存在于系统中但无法说明与业务间的关系，后续亦无法对数据进行分析和应用）现象非常明显，而每年政府投资1000多万的数据资产也没有在账面上得到体现，尤其是在数据资源建设、共享、使用方面的价值和绩效更是无法量化[2] 2、数据模型管理能力自身在不断减弱；开发团队出于现实压力，以实现功能为主，对非功能性需求不太在意，导致模型设计质量不高。IT系统出现先实现后优化的现象，优化效果滞后。 3、数据模型变更失控，大多数系统都处于积术式叠代开发，新需求就加一堆表，系统数据模型越来越雍肿；数据模型变更长期缺少基线化，大量已经废弃业务以及相关数据模型仍然存在于数据库，无人敢动； 4、数据无序增长，企业核心业务系统数据无有效的退出机制，业务系统容量无序增长，长期处于“系统扩容-数据膨胀-性能低下-系统扩容”的怪圈之中。 5、数据标准缺失，缺少企业级别统一的数据标准，数据模型相关含义令开发和运维人员难以理解；同时，亦使得企业不同应用间的数据集成和数据共享困难。 6、数据安全突出，对企业的敏感数据、用户、访问权限仍然缺少认识和控制，数据敏感数据泄漏的安全事件屡见不鲜。 7、数据质量参差，数据处理环节中产生大量的错误和质量差的数据，数据错误发现和处理流程不及时，导致更多的后续错误 从这些问题之中亦反映了一个现实：在当今，数据作业一种企业的重要资产而被人们广泛接纳的时候，对于广大的传统企业，正是由于企业在观念和技术上的缺少而导致数据模型管理方面的缺失，使企业连读懂自身的数据都是如此困难的一件事，更难以谈得上后续的数据分析和应用。 1正文 本文将从对传统行业进行数据模型梳理的角度出发，论述一种基于电力行业的数据模型梳理方法。并说明该种方法的梳理效果。 由上面问题的分析和归纳，在数据治理这个范畴上，我们应该首先解决的是企业对自身数据的了解和认知。 由于IT系统数据模型反映了应用关系型数据库在数据存储及数据结构，是元数据的主要组成部分。在今天关系型数据库仍然大行其道的当下，一种清晰并且与系统应用实践高度一致的数据模型可以促进了各种应用数据的管理、基于角色的有价值数据资产访问以及持续的数据集成。并且强化了元数据管理，使组织理解它们所拥有的数据，以及数据与业务流程之间的关系，不管数据来自于什么系统，什么样的产品平台以及任何地方。 因此，电力企业必需建立起一个基于电力行业的数据治理方法。 数据模型梳理实施方法 一般而言，数据模型梳理的实施步骤大致分为三个步骤： 物理模型梳理和优化 物理模型梳理的实质在于数据模型从关系数据库，形成一份稳定的物理模型设计。但它也不等同于单纯应用PowerDesigner[3]等工具从数据库中进行反向工程（reveeengeering）的结果，或者可以这样讲，反向工程只是其中的初始步骤。初始反向工程出来的结果，经过层层的筛选、过滤、合并和优化以后，最终经各方确认后形成物理模型基线，供后续逻辑模型梳理的基础，以及作为后续数据模型变更作为基线。 逻辑模型梳理 逻辑模型梳理的实质，就是在在数据物理模型的基础上，通过实体关系分析、字段含义梳理，字段取值梳理等手段，形成企业IT系统逻辑模型。在这个阶段，需要引入数据架构师，业务专家，DBA，业务人员等不同角色的人员共同努力实现数据逻辑模型的梳理。在相应工具的支持下，以应用系统核心实体和关键实体为突破点，逐步展开和梳理逻辑模型梳理的步骤。 由于完全的逻辑模型梳理往往会引发大量的工作量，一般而言，可以因应不同的系统、系统中不