14.预处理工业数据（数据变换）.pptx

工业互联网数据分析技术蓝卓数字科技有限公司

项目二准备工业互联网数据本章概要：任务1接入工业数据任务2预处理工业数据知识课堂

任务2预处理工业数据大数据采集过程中通常有一个或多个数据源，这些数据源包括同构或者异构的数据库、文件系统、服务接口等，容易受到噪声数据、数据值缺失、数据冲突等影响。因此，需要对先收集到的大数据集合进行预处理，以保证大数据分析与预测结果的准确性、价值性。任务2-1任务描述本任务要求能够了解数据清洗能够了解数据集成；能够了解数据规约；能够了解数据转换通过知识课堂加深了解管理工业数据平台

任务2预处理工业数据任务2-2任务实施大数据预处理环节主要包括：数据清理数据集成数据转换数据归约该环节可以大大提高大数据的总体质量，是大数据过程质量的体现。

任务2预处理工业数据数据变换数据变换主要包括简单函数变换、归一化、连续属性离散化、属性构造和小波变换。简单函数变换：一般用来将不具有正态分布的数据变换成具有正态分布的数据，还有就是将非平稳时间序列转换为平稳的时间序列，比如取对数、平方、开方啦、差分等。时间序列里面一般常用差分、取对数这种方法来构造平稳序列。取对数还可以用来压缩一些范围很大的区间，比如[10，10000000000]，这个区间不好用于分析，可以先做个对数处理压缩一下区间。

任务2预处理工业数据归一化：一般是来消除指标之间的量纲和取值范围差异的影响，包含最小最大归一化（即离差标准化）、标准差标准化、小数定标规范化。连续属性离散化：将连续属性变成分类属性，因为有些分类算法需要数据是分类属性形式的。属性构造：利用已有的属性集构造出新的属性，并加入到现有的属性集合中。小波变换：一种新的变换分析方法，它继承和发展了短时傅立叶变换局部化的思想，同时又克服了窗口大小不随频率变化等缺点，能够提供一个随频率改变的“时间-频率”窗口，是进行信号时频分析和处理的理想工具。

感谢聆听，敬请指正