DB35T 2240-2024公共数据清洗技术要求.docx

ICS01.040.35CCSL70

35

福建省地方标准

DB35/T2240—2024

公共数据清洗技术要求

Technicalrequirementsforpublicdatacleaning

2024-12-24发布2025-03-24实施

福建省市场监督管理局发布

I

DB35/T2240—2024

目次

前言 II

1范围 1

2规范性引用文件 1

3术语和定义 1

4基本原则 2

5过程要求 2

6方法要求 5

7安全要求 7

附录A（资料性）数据清洗的常见方法 8

参考文献 9

II

DB35/T2240—2024

前言

本文件按照GB/T1.1—2020《标准化工作导则第1部分：标准化文件的结构和起草规则》的规定

起草。

请注意本文件的某些内容可能涉及专利。本文件的发布机构不承担识别专利的责任。本文件由福建大数据一级开发有限公司提出。

本文件由福建省信息化标准化技术委员会（SAFJ/TC11）归口。

本文件起草单位：福建大数据一级开发有限公司、福建省数字经济发展促进中心、福建省市场监督管理局行政服务中心、福建省网络与信息安全测评中心、福建省建设信息中心、福建奇比特信息科技有限公司。

本文件主要起草人：李喆、陈国清、徐侃、涂平、王宇奇、邹建红、黄炜、石福仁、游鄂平、梁煜、张镇晖、李元、傅腾宇、李海、吴春华、马腾、陈闪闪、谢丹丹、张健文。

公共数据清洗技术要求

1范围

本文件规定了公共数据清洗的基本原则、过程要求、方法要求和安全要求。本文件适用于一体化公共数据的抽取、转换、核验、加载等清洗环节。

2规范性引用文件

下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中，注日期的引用文件，仅该日期对应的版本适用于本文件；不注日期的引用文件，其最新版本（包括所有的修改单）适用于本文件。

GB/T22239信息安全技术网络安全等级保护基本要求GB/T35274信息安全技术大数据服务安全能力要求

GB/T36344—2018信息技术数据质量评价指标

GB/T

37973

信息安全技术

大数据安全管理指南

GB/T

39477

信息安全技术

政务信息共享数据安全技术要求

GB/T

43697

数据安全技术

数据分类分级规则

3术语和定义

下列术语和定义适用于本文件。3.1

公共数据publicdata

公共管理和服务机构在依法履职或者提供公共管理和服务过程中收集、产生的，以一定形式记录、保存的各类数据及其衍生数据。

注1：公共管理和服务机构是指政务部门以及公益事业单位、公用企业。注2：包含政务、公益事业单位数据和公用企业数据。

3.2

公共数据资源目录publicdataresourcecatalog

依据公共数据资源的元数据，按照一定的分类方法进行编码的一组信息，用以描述各个公共数据资源的特征，便于公共数据资源的检索、定位与获取。

3.3

缺失值missingvalue

在数据归集与整理过程中未获得的数值、属性或内容。3.4

重复值duplicatevalue

数据集存在两条及以上完全相同的记录，或在某一字段内存在多个相同的值。

2

DB35/T2240—2024

4基本原则

4.1安全性

数据在清洗过程中应防止数据泄露、篡改或非法访问。4.2合法性

数据清洗过程和数据内容应符合《中华人民共和国数据安全法》《中华人民共和国个人信息保护法》等相关法律法规的要求。

4.3可审计性

数据清洗的全过程应跟踪和记录，确保数据的来源、处理步骤、结果输出等可追溯。

5过程要求

5.1基本流程

数据清洗基本流程应包含检测分析、确定清洗范围、定义清洗规则、数据抽取、清洗转换、结果核验、数据标识和数据加载等环节（见图1）。

5.2检测分析

开始

开始

检测分析

确定清洗范围

定义清洗规则

数据抽取

清洗转换

数据标识结果核验

数据标识

结果核验

通过

数据加载

结束

图1数据清洗基本流程

应满足以下要求：

a)根据被检测分析对象的特点和分析需求，设计具有针对性的检测分析方案；

b)从数据量、类型、内容、关系、数值范围等维度进行检测分析；

c)检测分析颗粒度达到字段级别，对数据中的