数据预处理第4篇：数据预处理（sklearn插补缺失值）.pdfVIP

数据预处理第4篇：数据预处理（sklearn插补缺失值） 由于各种原因，现实世界中的许多数据集都包含缺失值，通常把缺失值编码为空⽩，NaN或其他占位 符。但是，此类数据集与scikit-learn估计器不兼容，这是因为scikit-learn的估计器假定数组中的所有值都 是数字，并且都存在有价值的含义。如果必须使⽤不完整数据集，那么处理缺失数据的基本策略是丢弃 包含缺失值的整个⾏和/或列，但是，这是以丢失有价值的数据为代价的（即使数据不完整），更好的策 略是估算缺失值，从数据的已知部分推断出缺失值，这就是插补（imputation）。 单变量插补法（univariate imputation ），仅使⽤第i个特征维度中的⾮缺失值来插补第i个特征维度中的 值。相⽐之下，多变量插补算法（multivariate imputation ）会使⽤整个可⽤特征维度集来估算缺失值。 ⼀，单变量插补 在sklearn包中，使⽤估算器来实现单变量插补，单变量插补的处理策略（由strategy参数制定）有四个： mean ，median ，most_frequent和constant （搭配fill_value参数使⽤）。其中，mean和median分别表⽰使⽤ 均值和中位数来插补缺失值；对于定性数据，可以使⽤ most_frequent （众数）来插补缺失值。 import numpy as np from sklearn.impute import SimpleImputer imp = SimpleImputer(missing_values=np.nan, strategy=mean) imp.fit([[1, 2], [np.nan, 3], [7, 6]]) SimpleImputer() X = [[np.nan, 2], [6, np.nan], [7, 6]] print(imp.transform(X)) [[4. 2. ] [6. 3.666...] [7. 6. ]] ⼆，多变量插补 在scikit-learn包中，多变量插补使⽤估算器来实现，该估算器把含有缺失值的每个特征建模为其他特征 的函数，并使⽤该估算值进⾏插补。 多变量插补法以迭代循环的⽅式进⾏： 在每个步骤中，将特征列指定为输出y ，将其他特征列视为输⼊X。 把回归器拟合到已知的y的（X ，y ）上。 然后，使⽤回归器预测y的缺失值。 针对每个特征以迭代⽅式完成此操作，然后在max_iter插补回合中重复此操作。 返回最后⼀轮估算的结果。 注意：多变量插补估算器⽬前仍处于试验阶段：默认参数或⾏为可能会更改。解决以下问题将有助于稳 定IterativeImputer ： 收敛标准（）：IterativeImputer不会收敛，事实上，收敛准则似乎不会随着迭代⽽下降。 默认估计量（）：使⽤正则化最⼩⼆乘模型进⾏迭代插补与使⽤NMF进⾏插补⼤致相同。取⽽代之的 是，⾄少在sample_posterior = False的情况下，否则，我们应该使⽤RandomForestRegressor作为 IterativeImputer中的默认回归器。 随机状态的使⽤ () ：通过random_state指定RandomState对象，来保证结果可重复，有些跟scikit-learn相兼 容的模块可能不兼容RandomState对象。 要使⽤多变量插补，需要显式导⼊enable_iterative_imputer。 import numpy as np from sklearn.experimental import enable_iterative_imputer from sklearn.impute import IterativeImputer imp = IterativeImputer(max_iter=10, random_state=0) imp.fit([[1, 2], [3, 6], [4, 8], [np.nan, 3], [7, np.nan]]) IterativeImputer(random_state=0) X_test = [[np.nan, 2], [6, np.nan], [np.nan, 6]] # the model learns that the second feature is double the first print(np.round(imp.transform(X_test))) [[ 1. 2.] [ 6. 1