数据预处理流程大数据技术BIGDATA87课件讲解.pptxVIP

数据预处理技术

数据预处理流程

了解数据获取与存储

了解数据清洗

了解数据集成

了解数据变换

了解数据规约

数据获取与存储

日常见到的数据格式多种多样，来源也是很多种多样的，通常可以多种方式存储到本地，如word文件、CSV文件等，还可以存储在数据库中。

注：外部数据存储须遵循《数据安全法》之规定。

数据清洗

数据清洗又叫数据清理或数据净化，主要用于数据仓库、数据挖掘和全面数据质量管理三个方面。数据清洗可通过填写缺失的值、光滑噪声数据、识别或删除离群点并解决不一致性来“清理”数据。

目标：格式标准化，异常数据清除，错误纠正，重复数据的清除。

填充缺失值前后

数据集成

数据集成是指将多个数据源中的数据结合起来并统一存储，这些数据源可能包括多个数据库、数据立方体和一般文件。集成多个数据源时，会出现冗余数据，常见的有属性重复、属性相关冗余和元组重复。

建立数据仓库过程

属性重复

数据交换

数据变换是指不同来源所得到的数据可能导致不一致，所以需要选择将某些数据进行变换，构成一个适合的描述形式。主要方式：平滑聚集、数据概化、规范化等方式。

数据规约

数据规约技术可以用来得到数据集的规约表示，从而减少数据集容量，但仍然接近于保持原数据的完整性，并且结果与规约前结果相同或几乎相同。

数值规约

数据获取与存储

数据清洗

数据集成

数据变换

数据规约

谢谢