特征工程全了解.pdfVIP

自变量选择 自变量选择 1 特征工程是什么？ 2 数据预处理 2.1 无量纲化 2.1.1 标准化 2.1.2 区间缩放法 2.1.3 标准化与归一化的区别 2.2 对定量特征二值化 2.3 对定性特征哑编码 2.4 缺失值计算 2.5 数据变换 3 特征选择 3.1 Filter 3.1.1 方差选择法 3.1.2 相关系数法 3.1.3 卡方检验 3.1.4 互信息法 3.2 Wrapper 3.2.1 递归特征消除法 3.3 Embedded 3.3.1 基于惩罚项的特征选择法 3.3.2 基于树模型的特征选择法 4 降维 4.1 主成分分析法 （PCA ） 4.2 线性判别分析法 （LDA ） 5 总结 1 特征工程是什么？ 无关特征： 是指与当前学习任务无关的特征 （该特征所提供的信息对于当前学习任务无用），如对于学生成绩而言，学号则是 无关特征。 冗余特征： 是指该特征所包含的信息能从其他特征推演出来，如对于“面积”这个特征而言，从能从“长”和“宽”得出，则它是冗余 特征。 有这么一句话在业界广泛流传：数据和特征决定了机器学习的上限，而模型和算法只是逼近这个上限而已。那 特征工程到底是什么呢？顾名思义，其本质是一项工程活动，目的是最大限度地从原始数据中提取特征以供算法和 模型使用。通过总结和归纳，人们认为特征工程包括以下方面： 特征处理是特征工程的核心部分，sklearn提供了较为完整的特征处理方法，包括数据预处理，特征选择，降 维等。首次接触到sklearn，通常会被其丰富且方便的算法模型库吸引，但是这里介绍的特征处理库也十分强大！ 本文中使用sklearn中的IRIS （鸢尾花）数据集来对特征处理功能进行说明。IRIS数据集由Fisher在1936年整 理，包含4个特征 （Sepal.Length （花萼长度）、Sepal.Width （花萼宽度）、Petal.Length （花瓣长度）、 Petal.Width （花瓣宽度）），特征值都为正浮点数，单位为厘米。目标值为鸢尾花的分类 （Iris Setosa （山鸢 尾）、Iris Versicolour （杂色鸢尾），Iris Virginica （维吉尼亚鸢尾））。导入IRIS数据集的代码如下：  from sklearn.datasets import load_iris   #导入IRIS数据集 iris = load_iris()   #特征矩阵 iris.data   #目标向量 iris.target   2 数据预处理 通过特征提取，我们能得到未经处理的特征，这时的特征可能有以下问题： 不属于同一量纲：即特征的规格不一样，不能够放在一起比较。无量纲化可以解决这一问题。 信息冗余：对于某些定量特征，其包含的有效信息为区间划分，例如学习成绩，假若只关心“及格”或不“及 格” ，那么需要将定量的考分，转换成“1”和“0”表示及格和未及格。二值化可以解决这一问题。 定性特征不能直接使用：某些机器学习算法和模型只能接受定量特征的输入，那么需要将定性特征转换为定 量特征。最简单的方式是为每一种定性值指定一个定量值，但是这种方式过于灵活，增加了调参的工作。通 常使用哑编码的方式将定性特征转换为定量特征：假设有N种定性值，则将这一个特征扩展为N种特征，当原 始特征值为第i种定性值时，第i个扩展特征赋值为1，其他扩展特征赋值为0。哑编码的方式相比直接指定的方 式，不用增加调参的工作，对