第 4 章 数据预处理.pptx

数据挖掘与机器学习;本章内容;低质量的数据导致低质量的数据挖掘结果

数据是数据挖掘的目标对象和原始资源，对数据挖掘最终结果起着决定性的作用。现实世界中的数据是多种多样的，具有不同的特征，这就要求数据的存储采用合适的数据类型，并且数据挖掘算法的适用性会受到具体的数据类型限制。

;1.数据预处理的必要性;1.数据预处理的必要性;2.数据清洗;2.数据清洗;2.数据清洗;2.数据清洗;2.数据清洗;2.数据清洗;2.数据清洗;2.数据清洗;2.数据清洗;2.数据清洗;2.数据清洗;2.数据清洗;2.数据清洗;2.数据清洗;2.数据清洗;2.数据清洗;2.数据清洗;2.数据清洗;2.数据清洗;2.数据清洗;2.数据清洗;2.数据清洗;2.数据清洗;3.数据集成;3.数据集成;3.数据集成;3.数据集成;3.数据集成;3.数据集成;3.数据集成;3.数据集成;3.数据集成;3.数据集成;3.数据集成;3.数据集成;3.数据集成;3.数据集成;3.数据集成;3.数据集成;3.数据集成;4.数据标准化;4.数据标准化;4.数据标准化;5.数据归约;5.数据规约;5.数据规约;5.数据规约-维归约;5.数据规约-维归约;5.数据规约-维归约;5.数据归约-维归约;5.数据归约-维归约;5.数据归约-维归约;5.数据归约-维归约;5.数据归约-维归约;5.数据归约-数量归约;1.回归和对数线性模型

回归和对数模型可以用来近似给定的数据。

回归和对数线性模型可以用来近似给定的数据。在（简单）线性模型中，对数据拟合得到一条直线，多元回归是（简单）线性回归的扩展，用两个或多个自变量的线性函数对因变量y建模。;2.直方图

将直方图中桶的个数由观测值的数量n减少到k个，使数据变成一块一块的呈现。

直方图使用分箱来近似数据分布。用直方图规约数据，就是将直方图中的桶的个数由观测值的数量n减少到k个，使得数据变成一块一块的呈现。;3.聚类

聚类后用簇中的代表代替实际数据。

聚类算法是将数据划分为簇，使得簇内的数据对象尽可能“相似”，而簇间的数据对象尽可能“相异”。;4.抽样

通过选取随机样本子集，实现小数据代表大数据的过程。抽样过程包括简单随机抽样、簇抽样和分层抽样。

5.数据立方体聚类

数据立方体是将细粒度的???性聚集到粗粒度的属性。;5.数据归约-数据压缩;6.数据变换和离散化;数据变换与离散化;数据变换与离散化;数据变换与离散化;数据变换与离散化;数据变换与离散化;Python数据变换与离散化;Python数据变换与离散化;Python数据变换与离散化;Python数据变换与离散化;Python数据变换与离散化;Python数据变换与离散化;Python数据变换与离散化;Python数据变换与离散化;7.利用sklearn进行数据预处理;利用sklearn进行数据预处理;利用sklearn进行数据预处理;利用sklearn进行数据预处理;利用sklearn进行数据预处理;利用sklearn进行数据预处理;利用sklearn进行数据预处理;;;利用sklearn进行数据预处理;利用sklearn进行数据预处理;利用sklearn进行数据预处理;;利用sklearn进行数据预处理;;利用sklearn进行数据预处理;利用sklearn进行数据预处理;利用sklearn进行数据预处理;利用sklearn进行数据预处理;利用sklearn进行数据预处理;利用sklearn进行数据预处理;本章小结;本章小结