数据预处理机器学习58课件讲解.pptxVIP

机器学习徐国清数据预处理河南工业职业技术学院

数据处理sk-learn库中的preprocessing模块中的数据预处理方法，将原始数据转换为适合机器学习的形式，用于改善机器学习的效果。原始数据极易受到噪声的侵扰，通常情况下量级越大的数据集包含的噪声越多，因此，在建模训练之前需要对数据进预处理。

均值方差标准化均值方差标准化是一种将数据转化为标准正态分布的标准化方法。标准差标准化使得经过处理的数据符合标准正态分布。StandardScaler将数据按其特征减去平均值和缩放到单位方差来标准化特征。使得新的X数据集方差为1，均值为0。

数据处理preprocessing模块中的StandardScaler类基本语法格式如下：classsklearn.preprocessing.StandardScaler(copy=True,with_mean=True,with_std=True)如果数据的分布本身就服从正态分布，就适用于标准化处理。在进行标准化的过程中就将训练集的均值和方差当做是总体的均值和方差，因此对测试集使用训练集的均值和方差进行预处理。

数据处理

数据处理离差标准化特征的数值范围变化很大，这个时候将特征的数值范围缩放到合理的大小对于算法模型学习数据就非常重要。preprocessing模块中的MinMaxScaler类用于特征的离差标准化处理，将每个特征的数值转换成给定范围的值。

数据处理classpreprocessing.MinMaxScaler(feature_range=(0,1),copy=True)：属性min_：缩放后的最小值偏移量scale_：缩放比例data_min_：数据最小值data_max_：数据最大值data_range_：数据最大最小范围的长度

数据处理

结果变化

机器学习徐国清数据预处理河南工业职业技术学院