电力大数据数据质量评测规范.doc

ICS?FORMTEXT35.240.01

FORMTEXTL70

团体标准

T/XXXXXXXX—2020

FORMTEXT?????

FORMTEXT电力大数据数据质量评测规范

FORMTEXTEvaluationindicatorsforpowerdataquality

FORMTEXT?????

FORMDROPDOWN

FORMTEXT?????

FORMTEXT????-FORMTEXTXX-FORMTEXTXX发布

FORMTEXTXXXX-FORMTEXTXX-FORMTEXTXX实施

XXXX发布

电力大数据数据质量评测规范

范围

本标准规定了电力大数据质量评价指标的框架及评价过程。

本标准适用于电力大数据生存周期各个阶段的数据质量评价。

术语和定义

下列术语和定义适用于本文件。

2.1

数据data

信息的可再解释的形式化表示，以适用于通信、解释或处理。

可以通过人工或自动手段处理数据。

[GB/T5271.1－2000，定义01.01.02]

2.2

元数据metadata

关于数据或数据元素的数据（可能包括其数据描述），以及关于数据拥有权、存取路径、访问权和数据易变性的数据。

[GB/T5271.17－2010，定义17.06.05]

2.3

数据质量dataquality

在指定条件下使用时，数据的特性满足明确的和隐含的要求的程度。

2.4

原始数据rawdata

终端用户所存储使用的各种未经过处理或简化的数据。

原始数据有多种存在形式，如文本数据，图像数据，音频数据或者几种数据混合存在。

2.5

数据生存周期datalifecycle

将原始数据转化为可用于行动的知识的一组过程。

2.6

数据集dataset

具有一定主题，可以标识并可以被计算机化处理的数据集合。

2.7

数据模型datamodel

对分析的图像和文本表述，该分析识别了组织为完成其使命、功能、目标、目的和战略，以及管理和评价组织所需要的数据。

在从高到低的不同抽象层次表示数据时，通常会区分概念模型（与某些努力相关的概念组成的模型）、逻辑模型和物理模型。

所使用数据模型的使用周境的边界的正规描述，称为上下文模式。

数据模型标识实体、域（属性）以及与其他数据的关系（关联），提供数据和数据间关系的概念视图。

由框图组成的语义数据模型，这种框代表对业务有意义的事务集，如“人”或“行动”，以及描述这类实体对之间关系的线条。

应用特定数据管理技术的关系表或可扩展标记语言XML等是逻辑数据模型。

2.8

数据标准datastandard

数据的命名、定义、结构和取值规范方面的规则和基准。

数据质量评价指标框架

数据质量评价指标框架见图1。

数据质量评价指标框架

数据质量评价指标框架

完整性

准确性

一致性

规范性

时效性

可访问性

数据质量评价指标框架

数据质量评价指标框架包括规范性、完整性、准确性、一致性、时效性和可访问性六项，具体的定义如下：

a)规范性：数据符合数据模型、业务规则、元数据或权威参考数据的程度。

b)完整性：按照数据规则要求,数据元素被赋予数值的程度。

c)准确性：数据准确表示其所描述的真实实体（实际对象）真实值的程度。

d)一致性：数据与其他特定上下文中使用的数据无矛盾的程度。

e)时效性：数据在时间变化中的正确程度。

f)可访问性：数据能被访问的程度。

数据质量评价指标

数据质量评价指标共分为二级，一级指标是数据质量评价指标框架中的六项指标，每一项一级指标包含数量不等的二级指标，每一项二级指标包含数量不等的指标子项。

数据质量评价二级指标见表1。

数据质量评价指标

一级指标

二级指标

指标描述

计算公式

计算公式描述

规则示例

规范性

数据模型

数据符合数据模型的度量。

X=A/B*100%

A=满足数据模型要求的数据集中元素的个数

B=被评价的数据集中元素的个数

——

元数据

数据符合元数据定义的度量。

X=A/B*100%

A=满足元数据定义的数据集中元素的个数

B=被评价的数据集中元素的个数

包含各字段名称、描述、类型值域等内容的数据字典为一种元数据文档

业务规则

数据符合业务规则的度量。

X=A/B*100%

A=满足业务规则的数据集中元素的个数

B=被评价的数据集中元素的个数

——

权威参考数据

数据符合参考数据定义的度量。

参考数据是系统、应用软件、数据库、流程、报告及交易记录和主记录用来参考的数值集合或分类表。

X=A/B*100%

A=满足参考数据规则的数据集中元素的个数

B=被评价的数据集中元素的个数

一张用于一个特定字段的有效值列表为一种参考数据类型

安全规范

数据符