工业大数据的质量管理与主数据管控体系.pdfVIP

工业大数据的质量管理

与主数据管控体系

工业大数据覆盖了产品研发、生产、市场、客户、物流供应链、售后

服务、财务、人力、生产设备仪器仪表、传感器、产品、环境法规、社

会经济等数据，涵盖流程长、种类多、范围广。数据质量的问题往往

表现为一个或多个质量维度存在缺失从而无法满足企业和用户的实

际需要。主要表现在准确性、完整性、一致性、及时性、唯一性等方

面。数据质量管理作为智能制造顶层设计、过程控制和事后评价的重

要依据，如何建立客观、全面、可行的数据质量检测、治理与持续改

善机制，是大数据是否能够良好服务于智能制造的新的挑战。

1工业大数据质量问题

工业大数据从应用场景上可划分为IT域及OT域数据。OT域的数

据主要来自于工业现场的物联网络、生产制造装备和基础自动化系统

等采集的数据，主要由时序数据和非时序数据两大类组成，时序数据

包括描述设备运行过程的温度、压力、振动、流量等运行监测数据以

及描述产品所处阶段的声、光、电数据；非时序数据，主要来源于工

业系统生成的日志数据以及工业生产过程积累的经验知识等。工业IT

域数据主要是MES、WMS、SCM等产生的生产制造数据，ERP、MRP等

产生的企业运营数据以及通过企业外网获取的互联网数据在内的结

构化与半结构化数据。

从来源层面，工业大数据向下涵盖了OT域的人、设备、物带来的

物联数据；向上涵盖了IT域的制造执行、企业管理、客户关系管理

等企业信息化数据，随着智能制造对数字化的依赖性持续增加，由于

器件和系统故障、现场恶劣工况、违反工艺规程、调度管理不当、数

据格式不一致、数据字段重复或缺失等原因导致的数据质量问题，更

加显著地影响着工业过程和制成品的品质。工业大数据的质量问题主

要表现在以下几个方面：

数据失真和失准。受制于工业现场的一系列恶劣工况，在工业OT域，

现场物联网络、生产制造装备、过程控制设备均不同程度地存在数据

失真。由于工业现场的高温、高压、强振动、大噪声、大粉尘、磁场

变化大等环境因素的影响，可能造成现场物联网络采集到的声、光、

电、RFID等各类工业运行数据出现误采、漏采、丢包等数据失真问题。

由于工业现场管理规程及管理行为的不健全和不规范，工业生产制造

装备运维保养不当、缺乏有效的运行监管机制、人为破坏等原因，使

工业OT域大量存在数据缺失、日志缺失和工业经验知识丢失等问题，

造成生产制造装备运行数据的不可测和不可控，这是造成对工业现场

运行状况误判的重要原因之一。止匕外，因控制器无法准确地获取运

行数据，导致过程控制设备将错误的控制指令上传下达，则不仅会影

响工业企业对运营状况的正确决策，而且会对生产经营埋下严重的安

全隐患。

数据一致性差。对于来源于IT域的工业大数据，由于工业企业现

有的信息化系统均不同程度的存在“系统林立”的问题，难以在数据

生产过程中采用有效的控制手段来保障各个工业IT系统所产生的数

据的一致性，当出现数据不一致时，数据使用者必须做出权衡，修整

数据使其与原数据一致，或牺牲数据质量来保持与原数据一致性。

对历史数据缺乏“再生”机制。工业历史数据的“再生”将有助于

提升工业全生命周期管理能力。传统的数据管理模式下，历史数据往

往在其生命周期的后期转为冷存储或损毁。而在工业大数据分析和应

用中，实时数据与历史数据的应用具有各自的新价值。如何实现历史

数据与实时数据的有效整合，实现工业大数据在工业过程、工业制成

品全生命周期中的应用，将是数据质量管理的一个新的挑战。

缺乏标准化的数据质量管理框架。在不同的业务场景中，各种结构

化和非结构化数据集被多个使用者共享和使用。然而，一方面，由于数

据质量缺乏标准化管理的约束；另一方面，由于各类工业信息系统彼

此割裂；同类型、不同格式的数据在各类彼此独立的信息系统中运行，

这意味着每种应用都有各自的数据使用方式，相同数据集在不同业务

场景下的诠释不同，数据存在有效性和一致性方面的隐患。

数据质量补偿手段尚未得到广泛应用。目前，对于工业大数据面临

的数据失真和失准问题，更多是基于经验进行修复，常用的数据滤波、

平滑、降噪、插值及关联补偿等数据质量补偿手段尚未实现面向应用

场景的固化；对于数据冗余、同类不同源数据不一致的问题，也缺乏包

括统一数据ID管理及主数据管控等管理手段来促进多源异构数据的

融合。过渡依赖经验的数据质量管理模式严重制约了智能制造的发展