工业大数据是如何实现其价值的？.docxVIP

由大数据驱动的制造业转型升级，是未来制造业提升生产效率、改进产品质量、节约资源消耗、保障生产安全、优化销售服务的必经之路，通过与工业互联网、人工智能、移动互联网、云计算等技术的协同发展，工业大数据驱动的的工业互联网必将深度融入实体经济，成为数字经济时代的新引擎。

工业互联网是以数字化为基础，网络化为支撑，智能化为目标。通过物联网技术对工业制造过程中的人、物、环境和过程实施对象数字化，将数据通过网络实现数据的价值流动，以数据为生产要素，以数据的智能分析为基础，实现智能决策和智能控制，实现智能优化和智慧化运营，创造经济价值和社会价值。

数据是工业互联网的一种最重要的生产要素。一个工厂每天的数据以TB计算，但本质上，这些数据具有“多”、“杂”等特点，良莠不齐。不求随机样本，而是全体数据；不求精确性，而是混杂性；不求因果，但求相关。新工业革命，本质上是智能革命，而智能革命的基础是信息化，大数据是根本。没有大数据对客观事物全面、快速、真实、准确的信息反馈，任何智能设备都不可能实现真正的智能。

那么，如何让这些“多”、“杂”的工业大数据发挥其价值？

一

工业大数据的数据挖掘

（一）一些基本概念

数据挖掘是利用业务知识从数据中发现和解释知识(或称为模式)的过程，这种知识是以自然或者人工形式创造的新知识。这其中有几个概念需要了解下：

1、OLTP和OLAP

OLTP(On-lineTransactionProcessing)联机事务处理，使事务应用程序仅写入所需的数据，以便尽快处理单个事务。其基本特征是前台接收的用户数据可以立即传送到计算中心进行处理，并在很短的时间内给出处理结果。

OLAP(On-lineAnalyticalProcessing)联机分析处理，专门设计用于支持复杂的分析操作，侧重对决策人员和高层管理人员的决策支持，可以根据分析人员的要求快速、灵活地进行大数据量的复杂查询处理，并且以一种直观而易懂的形式将查询结果提供给决策人员。OLAP的目标是满足决策支持或多维环境特定的查询和报表需求，它的技术核心是“维”这个概念，因此OLAP也可以说是多维数据分析工具的集合。

OLTP和OLAP的区别

2、数据仓库和数据集市

数据仓库（DataWarehouse，简写DW），是为企业所有级别的决策制定过程，提供所有类型数据支持的战略集合。它是单个数据存储，出于分析性报告和决策支持目的而创建。数据仓库在软硬件领域、Internet和企业内部网解决方案以及数据库方面提供了许多经济高效的计算资源，可以保存极大量的数据供分析使用，且允许使用多种数据访问技术。

数据集市(DataMart)，也叫数据市场，从范围上来说，数据是从企业范围的数据库、数据仓库，或者是更加专业的数据仓库中抽取出来的。

数据仓库和数据集市区别在于范围上，前者相当于是所有的企业数据的集合，后者重点对整个数据仓库内进行了分类，迎合了专业用户群体的特殊需求。

3、数据ETL处理

数据ETL处理，即数据的抽取（Extract）、数据的清洗（Cleaning）、数字的转换（Transform）、数字的装载（Load）。在此前的《小白聊智慧制造之十三：工业APP是释放工业大数据价值的方式》已有表述，这里略过。

（二）工业大数据的数据挖掘

1、工业大数据数据挖掘流程

数据挖掘过程一般分为数据准备、数据挖掘和结果表达和解释三个部分。在数据准备阶段，需要对数据集进行选取和预处理。其中数据预处理包括数据清理、数据集成、数据归约和数据变换等。

2、工业大数据数据挖掘的基本算法

数据挖掘是一种获得知识的技术。其基础是数据，其手段是各种算法，其目的是获得数据中所蕴含的知识。数据挖掘从一个新的视角将数据库技术、统计学、机器学习、信息检索技术、数据可视化和模式识别与人工智能等领域有机结合起来，它能组合各个领域的优点，从而能从数据中挖掘到其他传统方法不能发现的有用知识。利用数据挖掘进行数据分析常用的方法主要有分类、回归分析、聚类、关联规则、特征、变化和偏差分析等，它们分别从不同的角度对数据进行挖掘。数据挖掘的算法很多，随着科学技术的不断发展，新的算法会不断地加入。

3、数据挖掘的目的

数据挖掘分为三层，一是提供数据源、数据准备的数据层，一个是提供算法、引擎和界面的算法层，一个是把数据挖掘结果应用于实践的应用层。

数据挖掘目的是可以应用于应用层实际应用的描述类知识和预测类知识。

数据挖掘不是一个静态的过程，需要不断对模型重新评估，衡量，修正。在大数据时代，数据的产生和收集是基础，数据挖掘是关键。数据挖掘是大数据中最关键也最有价值的工作。通常，数据挖掘或知识发现泛指从大量数据中挖掘出隐含的、先前未知但潜在的有用信息和模式的一个工程化和系统化的过程。

（三）数据挖掘的4个特性

1、应用性

数据挖掘是