基于数据资产的数据质量评估模型研究及应用.docVIP

基于数据资产的数据质量评估模型研究及应用 　　摘要：针对信息化产业的迅猛崛起，提高国网数据剩余价值最大化。根据数据质量的特性提出数据资产理念，使用数据资产的数据质量监测技术和数据资产评估技术，进行量化数据质量指标。分析量化指标，构建模型。实现集约、有序的数据共享，提升企业数据共享能力，优化企业数据质量，保障数据安全。 　　关键词：数据质量； 数据资产； 数据质量监测；量化指标；数据安全 　　中图分类号：TP181 文献标识码：A 文章编号：1009-3044（2016）30-0241-02 　　1 概述 　　电力行业作为国家基础产业也紧跟时代步伐，国网大力推广智能电网等相关科技项目。智能电网利用电力系统辅助人工管理，就会产生海量数据。海量数据的管理一直都是困扰企业化运作的一个很大问题。从海量数据中提取有效信息，跟数据质量息息相关，数据质量状况很大程度上会影响到大数据分析的结果，可以使其产生偏离，误导企业决策。 　　目前，国内外虽然提出了数据资产的理念，但没有具体的数据资产管理体系，所以未在实际中应用。近年，国网企业间通力合作开展各种方式完善的数据资产管理体系为基础，实现集约、有序的数据共享，规范数据从产生到共享应用的各个环节，有效度量企业数据质量，为大数据在企业中的应用提供有力保障。 　　2 数据质量现状 　　国内数据质量管理研究大多才刚刚起步，大多数企业数据质量管理还停留在具体操作层面，尚未形成完备的体系，未形成可操作的质量标准。通过对电网企业数据质量相关问题进行研究，其数据质量具有以下几个特点： 　　1）数据质量对象可以用若干个质量特性进行描述。质量属性是数据属性的扩展，与数据属性不同的是，质量属性描述了对象在数据质量方面的约束。 　　2）数据质量的元素是相对稳定的。但许多系统，包括一些专业领域都在试图定义局部的数据质量元素规范，以形成对数据质量的定量或非定量的衡量标准。 　　3）数据质量指标计算是复杂的。简单的算法可以使一个约束表达式来描述，如关系数据库中的约束定义已经非常完善，但其他方面的算法则需要进行更深入的研究。 　　3 关键技术 　　基于数据资产的数据质量监测跟传统数据质量模型息息相关，数据管理体系的建立是一个不断推进的过程，需要进行大量的方法研究和实践工作。涉及以下几个方面的技术： 　　1）数据资产全景展示技术：全景视图是以企业数据标准为基础、以各应用系统数据为来源，依据企业业务规划，梳理产生的企业数据资源的管理、业务、技术属性信息，以及相应的信息化描述和展现。 　　2）数据溯源建模技术：利用IPO模型，对指标的形成过程进行逐步回溯，形成指标的全局视图，对每一个指标的产生进行溯源，掌握所有与之相关的最初始的人工输入数据和自动采集数据。 　　3）数据资产质量监测技术：利用业务监测、技术监测两周方式对数据资产溯源全过程节点进行及时性、完整性、准确性、实效性、一致性和关联核查内容等几个方面进行监测。 　　4 数据质量监测指标体系构建 　　4.1指标构建理论依据 　　从整体角度对企业数据资源进行的全方位、多层次、动静结合的描述，即构建全景视图，包括数据资源的产生、加工、流转与使用关系，其核心是存储数据属性（S）和处理节点（P）。以回溯为手段，形成树状的数据溯源视图，实现数据的形成过程可控。根据数据资产溯源图从数据资产产生、加工、应用全过程节点发现业务系统运维管理中的薄弱环节，推动业务系统运维管理水平的提升。 　　4.2数据质量分析量化指标 　　首先建立企业数据资产台帐，其中包含数据资产台帐登记管理、数据资产台帐变更管理和数据资产台帐停用管理。通过对数据资产完成率、数据资产价值、数据资产可信度等维度对数据质量评估方法进行分析，建立基于数据资产的数据质量评估模型。 　　4.2.1 数据资产化完成率评估 　　数据资产化完成率是用于衡量数据资产台账属性和溯源图的完备程度，通过数据资产台账属性和溯源节点的完成率加权综合计算获到。数据资产台账属性的完成率是对各属性通过分类、加权之后获得；溯源完成率的计算通过对输入节点、处理节点、传输节点和存储节点四类节点完成率经过节点完成率评估模型加权之后获得。以下是各项指标计算方式如表1。 　　4.2.2 确定应用评估系数 　　数据资产应用评估系数是采用AHP法构建应用指标评价体系。层次分析模型是把复杂的问题分成若干个组成因素，并按支配关系分组形成层次结构。分析各因素的关系，建立递阶层次结构。计算合成权重，即全局权重。根据对数据资产价值应用及评估因素的分析，采用AHP方法，得到如表2所示的指标体系。 　　计算出各项应用评估指标权重之后，可以确定应用评估系数的计算模型，如下： 　　应用评估系数=∑（每一个应用评估指标权重*该指标评估因素的评分值