《数据质量评估 实施方法》.docx

T/CECCXXX—2023

PAGE2

ICS35.240.01

CCSL70

团体标准

T/CECCXXX—2024

FORMTEXT?????

数据质量评估实施方法

Dataqualityevaluation——Implementationmethods

（征求意见稿）

2024-XX-XX发布

2024-XX-XX实施

中国电子商会发布

T/CECCXXX—2024

PAGE2

T/CECCXXX—2024

数据质量评估实施方法

范围

本文件给出了开展数据质量评估的评估流程及数据质量判定方法。

本文件适用于数据质量评估活动。

规范性引用文件

下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中，注日期的引用文件，仅该日期对应的版本适用于本文件。不注日期的引用文件，其最新版本（包括所有的修改单）适用于本文件。

T/CECCXXX—2024数据质量评估指标体系第1部分：通用指标要求

术语和定义

T/CECCXXX—2024所界定的以及下列术语和定义适用于本文件。

被评估方organizationsubjecttotheappraisal

申请数据质量评估的组织个体。

评估机构assessmentauthority

统筹数据质量评估工作的组织个体。

评估流程

概述

数据质量评估流程包括评估前沟通、评估计划制定、评估实施、质量分析以及质量改进环节，如图1所示。

图1数据质量评估实施流程

评估准备阶段

受理评估

受理评估申请是评估机构对被评估方提交的数据质量评估申请材料进行审核，确认被评估方符合数据质量评估条件，条件包括：

被评估方应是在中国境内合法注册成立并运营的组织，其业务活动符合国家相关法律法规和政策要求；

被评估方应当具备一定的数据管理能力，包括但不限于数据的存储、处理等；

被评估方应具备一定的技术支持能力，向评估机构必要的数据质量评估支持；

被评估方应保持开放和合作的态度，积极配合评估机构的工作。

组建评估组

评估机构根据被评估方提供的数据情况，选派评估人员组建评估组，评估人员应符合相关要求，包括：

具有经济、统计、计算机相关的工作背景或工作经验；

遵守评估工作要求，掌握评估方法与评估工具的使用；

按照评估计划开展评估活动；

维护数据在评估过程中的保密性与安全性；

能够识别数据质量相关问题。

确认评估数据

评估机构应向被评估方明确数据质量评估目的及用途。

评估机构应根据评估目的及用途，明确被评估数据范围，包括但不限于评估数据时间范围、内容范围等。

评估机构应明确被评估数据的来源及获取方式，确定数据来源的合法性与准确性。

评估机构应明确数据存储位置及数据读取方式，保证数据在评估过程中的可访问性。

预评估

评估机构对被评估数据开展预评估，分析数据质量基本情况，达到数据评估基本要求则继续开展评估，未达到数据评估基本要求的应完成数据治理再开展数据质量评估。

明确业务要求

数据的质量与数据所支持的业务需求密切相关，评估准备阶段评估机构应深入分析被评估方业务需求，明确业务运行过程中对数据质量的各项关键要求，包括但不限于数据精度、数据完整程度、数据时效等。

标准法规分析

数据评估机构应根据被评估数据的内容及用途，明确数据评估工作使用的标准及相关法规。

评估实施阶段

计划制定

评估机构应根据被评估数据内容及数据量，合理分配评估人员及时间，制定合理的评估计划，包括评估目的、评估范围、评估任务、评估时间、评估人员、评估日程安排、评估所需要场地和设备等内容。

评估方法

评估机构应按照被评估数据的内容与形式，选择适当的数据质量评估方法，包括：

系统评估：使用数据质量管理系统等数据质量工具实现自动化评估，如自定义SQL语句检核、数据集成工具等；

人工评估：根据评估指标，结合评估人员数据质量评估经验进行数据评估，如资料判断、经验判断等。

评估方式

评估机构应根据委托主体及被评估数据，确定数据评估方式，评估方式包括：

全量评估：对涉及的所有数据进行逐一评估；

增量评估：对涉及的数据，在特定的范围和时间段内新增的数据进行逐一评估；

抽样评估：按照抽样方案，对抽取的数据进行逐一评估。

评估工具

评估机构应根据数据类型，如文本、图像、音频、视频以及三维模型等，选用相应的数据质量评估软件和工具，相关的数据评估软件和工具可参考以下工具：

文本数据：DiVoMinerXAI、ChineseWebText、CTAP、KHCoder、Wordij；

图像数据：ImageJ、Fiji、ImageProPlus、iQstest、GIQA、Image-Quality-Assessment；

音频数据：AudioAnalyze、MATLA