SY_T 7005-2014数据质量控制与评估原则.pdf

ICS 75 -010E 07SY备案号：48256—2015中华人民共和国石油天然气行业标准SY/T 7005--2014数据质量控制与评估原则Directives for data quality control and assessment201503-01实施2014-1015 发布发布国家能源局 SY/T 7005--2014次目1前言H引言范围1规范性引用文件23术语和定义数据质量控制方法4数据质量评估规则5 数据质量评估流程6数据质量评估指标16·数据质量实例附录A（资料性附录） SY/T 7005-2014前言本标准按照GB/T1.1一2009《标准化工作导则第1部分：标准的结构和编写》给出的规则起草。本标准由石油信息与计算机应用专业标准化委员会归口。本标准起草单位：中国石油勘探开发研究院、东北石油大学、大庆油田有限责任公司。本标准主要起草人：袁满、高雪、黄刚、陈萍、刘学霞、袁靖舒。I SY/T 7005-2014引言本标准分析了石油行业关系数据库中存在的数据质量问题，规定了数据质量从两个角度实现质量的控制与评估的原则。一方面是从管理角度进行数据质量的控制，另一方面是从技术角度进行数据质量的控制，两者缺一不可。本标准定义了准确性、一致性等七类数据质量元素和非空约束、值域约束等十五个维度的规则，其中数据质量元素用于描述数据质量，数据质量约束规则反映了具体业务规则和领域知识；规定了七项评估指标和每个评估指标的计算方法；规定了数据质量分析与评估的体系结构模型以及评估流程。本标准能够对关系数据库或数据集的数据质量进行控制与评估。1 SY/T 7005-2014数据质量控制与评估原则1 范围本标准规定了对石油行业信息系统关系数据库数据质量控制方法、数据质量评估原则、数据质量元素分类、数据质量约束规则、评估流程、评估指标以及评估算法。本标准适用于石油行业各种关系数据库的数据质量控制与评估。2规范性引用文件下列文件对于本文件的应用是必不可少的。凡是注日期的引用文件，仅注日期的版本适用于本文件。凡是不注日期的引用文件，其最新版本（包括所有的修改单）适用于本文件。GB/T15237.1—2000　术语工作　词汇　第1部分：理论与应用SY/T6227一2005　石油工业数据库设计规范SY/T6705--2007　石油工业数据元设计原则3术语和定义下列术语和定义适用于本文件。3. 1模式‧schema数据库中数据的逻辑结构和特征的描述，用来反映数据的结构及其联系。它既不涉及数据的存储和硬件环境，也不与具体的应用有关，一个数据库只有一个模式，模式也称为逻辑模式。[SY/T 6227—2005，定义 2.39]3.2实体entity任何具体的或抽象的事物，包括事物间的联系。3.3关系 relation关系模型中的一张二维表。[SY/T 6227—2005，定义 2.24]3. 4元组 tuple关系模型二维表中的一行即为一个元组。［SY/T 6227~—2005，定义 2.25]3.5数据元素data element用一组属性描述定义、标识、表示和允许值的一个数据单元。[SY/T 6705-2007，定义 3.1］ SY/T 7005--20143.6数据data信息的物理存储形式，是计算机能处理的各种事实、数字，字符等各种符号的集合。[SY/T 6227--2005，定义2.2]3.7属性 attribute实体或联系的性质的抽象表示。[SY/T 6227—2005，定义 2.16]3.8域domain属性的取值范围称为该属性的域。［SY/T 6227—2005，定义 2.17]3.9属性值直 attribute value属性按着属性域约束取的值。3.10对象 object可以想象或感觉的世界的任一部分。［GB/T 15237.1—2000]3.11元数据metadata定义和描述其他数据或过程的数据。3.12元模型 metamedel关于模型的模型。这是特定领域的模型，定义概念并提供用于创建该领域中的模型的构建元素。3.13深度性depth用于测量实体或事件的历史量。深度性可用实际深度、期望深度和深度性满足程度等指标来体现。3.14实际深度actual depth在查询到的元组中随机取值的实际深度。3. 15期望深度desired depth描述随机元组取值的平均深度。3.16评估指标assessment standard在评估过程中所遵循的评估规则。4数据质量控制方法本标准规定了两种数据质量控制方法，一种是从技术角度对数据质量的控制，另一种是从管理角度对数据持量的控制。两种控制方法两者缺一不可。2 SY/T :7005--20144.1控制数据质量的技术规范4.1.1数据采集规范在数据采集规范中对所采集的数据集名称、采