Python金融数据分析与挖掘（微课版） 课件 5-1.数据预处理.pptx

第5章机器学习与实现

缺失值处理

数据规范化

主成分分析

缺失值处理

第5章

在数据处理过程中，缺失值是常见的，需要对其进行处理。Pandas包中的fillna()函数并没有充分利用数据集中的信息。这里介绍scikit-learn包中能充分利用数据信息的3种常用填充方法，即均值填充、中位数填充和最频繁值填充。注意填充方式主要是按列填充

均值填充：对某列中的所有缺失值用该列中非缺失部分的值的平均值来表示；

中位数填充：取某列中非缺失部分的值的中位数来表示缺失值。

最频繁值填充：取某列中非缺失部分的值出现频次最多的值来表示缺失值。（常用于分类型或离散型变量）

缺失值处理

第5章

（1）导入数据预处理中的填充模块SimpleImputer

fromsklearn.imputeimportSimpleImputer

（2）利用SimpleImputer创建填充对象imp

imp=SimpleImputer(missing_values=np.nan,strategy=mean)

参数说明如下：

strategy：均值（mean）、中位数（median）、最频繁值（most_frequent）

（3）调用填充对象imp中的fit()拟合方法，对待填充数据进行拟合训练。

imp.fit(Data)#Data为待填充数据集变量

（4）调用填充对象imp中的transform()方法，返回填充后的数据集。

FData=imp.transform(Data)#返回填充后的数据集FData

需要注意的是填充的数据集结构要求为数组或数据框，类型为数值类型

缺失值处理

第5章

fromsklearn.imputeimportSimpleImputer

fC=C

imp=SimpleImputer(missing_values=np.nan,strategy=mean)

imp.fit(fC)

fC=imp.transform(fC)

数据规范化

第5章

变量或指标的单位不同，导致有些指标数据值非常大，而有些指标数据值非常小，在模型运算过程中大的数据会把小的数据覆盖，导致模型失真。因此，需要对这些数据规范化处理，或者说去量纲化。

所谓均值-方差规范化，是指变量或指标数据减去其均值再除以标准差得到新的数据。新的数据均值为0，方差为1，其公式如下：

极差规范化是指变量或指标数据减去其最小值，再除以最大值与最小值之差，得到新的数据。新的数据取值范围在[0,1]，其公式如下：

数据规范化

第5章

对数据集X（数组）做均值-方差规范化处理，基本步骤如下：

（1）导入均值-方差规范化模块StandardScaler。

fromsklearn.preprocessingimportStandardScaler

（2）利用StandardScaler创建均值-方差规范化对象scaler。

scaler=StandardScaler()

（3）调用scaler对象中的fit()拟合方法，对待处理的数据X进行拟合训练。

scaler.fit(X)

（4）调用scaler对象中的transform()方法，返回规范化后的数据集X（覆盖原未规范化的X）。

X=scaler.transform(X)

数据规范化

第5章

fromsklearn.preprocessingimportStandardScaler

X=data

scaler=StandardScaler()

scaler.fit(X)

X=scaler.transform(X)

数据规范化

第5章

对数据集X1（数组）做极差规范化处理，基本步骤如下：

（1）导入极差规范化模块MinMaxScaler。

fromsklearn.preprocessingimportMinMaxScaler

（2）利用MinMaxScaler创建极差规范化对象min_max_scaler。

min_max_scaler=MinMaxScaler()

（3）调用min_max_scaler中的fit()拟合方法，对处理的数据X1进行拟合训练。

min_max_scaler.fit(X1)

（4）调用min_max_scaler中的transform()方法，返回处理后的数据集X1（覆盖原未处理的X1）。

X1=min_max_scaler.transform(X1)

数据规范化

第5章

fromsklea