工业数据流通数据清洗规范.pdfVIP

工业数据流通数据清洗规范

1范围

本文件规定了工业数据清洗的过程要求、环境要求和质量要求。

本文件适用于数据流通中的工业数据清洗。

2规范性引用文件

下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中，注日期的引用文件，

仅该日期对应的版本适用于本文件；不注日期的引用文件，其最新版本（包括所有的修改单）适用于本文

件。

GB/T22239-2019信息安全技术网络安全等级保护基本要求

GB/T35274-2017信息安全技术大数据服务安全能力要求

GB/T35295-2017信息技术大数据术语

GB/T37973-2019信息安全技术大数据安全管理指南

GB/T39477-2020信息安全技术政务信息共享数据安全技术要求

GB/T42128-2022智能制造工业数据分类原则

DA/T82-2019基于文档型非关系型数据库的档案数据存储规范

3术语和定义

下列术语和定义适用于本文件。

3.1

数据清洗datacleaning

运用一定方法识别并修正数据问题，提高数据质量的过程。

3.2

工业数据industrialdata

在工业领域中，涉及企业的所有生产活动和服务所产生的数据。

[来源:GB/T42128-2022，3.1.1]

3.3

结构化数据structureddata

一种数据表示形式，按此种形式，由数据元素汇集而成的每个记录的结构都是一致的并且可以使用关

系模型予以有效描述。

[来源:GB/T35295-2017，2.2.13]

3.4

非结构化数据unstructureddata

不具有预定义模型或未以预定义方式组织的数据。

[来源:GB/T35295-2017，2.1.25]

1

DB21/TXXXXX—2020

3.5

半结构化数据semi-structureddata

具有结构性，但结构变化大，且难以用结构化数据的处理方法将其放进二维表的数据。

示例：XML文档内容，每项都被一对标记封起来，如title/title，表面上看是结构化数据，但title/title之间

的数据却是千变万化，这是典型的半结构化数据。

[来源:DA/T82-2019，2.8]

3.6

表结构tablestructure

为主体层内容提供表示语义的一种存储范例。

[来源:GB/T35295-2017，2.2.14]

3.7

敏感数据sensitivedata

由权威机构确定的受保护的信息数据。

注:敏感信息数据的泄露、修改、破坏或丢失会对人或事产生可预知的损害。

[来源:GB/T35295-2017，2.2.14]

4缩略语

下列缩略语适用于本文件。

ETL：数据的抽取、转换、加载（ExtractTransformLoad）

5清洗目的

工业数据涉及到各种传感器、监测设备和生产设备，具有多样性和异构性，由于传感器和设备的不稳

定性、及环境变化等因素影响，工业数据中存在大量错误数据、缺失数据和异常数据。

工业数据清洗目的是清除或修正错误数据、缺失数据、异常数据或其他有问题的数据，提高工业数据

在建模分析、应用开发、资源调度和监测管理等方面的应用价值，保障流通的工业数据质量。

6清洗范围

清洗范围涵盖工业领域产品和服务全生命周期产生和应用的数据，包括但不限于工业企业在研发设计、

生产制造、供应链物流、营销、运维、管理及金融等环节中生成和使用的数据，以及工业互联网平台企业

在设备接入、平台运行、工业应用程序使用等过程中生成和使用的数据。各类型数据说明如下：

a）研发设计数据：包括研发设计数据、开发测试数据等；

b）生产制造数据：包括控制信息、工况状态、工艺参数、系统日志、生产质量数据、生产实绩数据

等；

c）供应链物流数据：包括供需计划数据、仓储物流数据等；

d）营销数据：包括投标次数、订单数量、交易金