Python大数据分析与挖掘实战课件 5-8.数据规范化.pptxVIP

第5章数据预处理与特征工程

均值-方差规范化

极差规范化

数据规范化简介

第5章

变量或指标的单位不同，导致有些指标数据值非常大，而有些指标数据值非常小，在模型运算过程中大的数据会把小的数据覆盖，导致模型失真。因此，需要对这些数据规范化处理，或者说去量纲化。

所谓均值-方差规范化，是指变量或指标数据减去其均值再除以标准差得到新的数据。新的数据均值为0，方差为1，其公式如下：

极差规范化是指变量或指标数据减去其最小值，再除以最大值与最小值之差，得到新的数据。新的数据取值范围在[0,1]，其公式如下：

均值-方差数据规范化

第5章

对数据集X（数组）做均值-方差规范化处理，基本步骤如下：

（1）导入均值-方差规范化模块StandardScaler。

fromsklearn.preprocessingimportStandardScaler

（2）利用StandardScaler创建均值-方差规范化对象scaler。

scaler=StandardScaler()

（3）调用scaler对象中的fit()拟合方法，对待处理的数据X进行拟合训练。

scaler.fit(X)

（4）调用scaler对象中的transform()方法，返回规范化后的数据集X（覆盖原未规范化的X）。

X=scaler.transform(X)

均值-方差数据规范化

第5章

fromsklearn.preprocessingimportStandardScaler

X=data

scaler=StandardScaler()

scaler.fit(X)

X=scaler.transform(X)

极差规范化

第5章

对数据集X1（数组）做极差规范化处理，基本步骤如下：

（1）导入极差规范化模块MinMaxScaler。

fromsklearn.preprocessingimportMinMaxScaler

（2）利用MinMaxScaler创建极差规范化对象min_max_scaler。

min_max_scaler=MinMaxScaler()

（3）调用min_max_scaler中的fit()拟合方法，对处理的数据X1进行拟合训练。

min_max_scaler.fit(X1)

（4）调用min_max_scaler中的transform()方法，返回处理后的数据集X1（覆盖原未处理的X1）。

X1=min_max_scaler.transform(X1)

极差规范化

第5章

fromsklearn.preprocessingimportMinMaxScaler

X1=data

min_max_scaler=MinMaxScaler()

min_max_scaler.fit(X1)

x1=min_max_scaler.transform(X1)