数据智能与应用 (13).pptVIP

第三章数据智能之利器

第四节特征选择与特征提取1

23.4.1特征选择意义：特征决定着算法的上限。特征选择的目的就是选择出更优的特征，从而更利于我们学习算法的学习。背景：特征选择就是从众多特征中剔除不重要的特征，从而保留重要的特征。特征选择。通常需要从两点来考虑：1.特征是否发散：2.特征与目标的相关性。具体方法：1.过滤法（Filter）：按照发散性或者相关性对各个特征进行评分，设定阈值或者待选择阈值的个数，选择特征。2.包裹法（Wrapper）：根据目标函数（通常是预测效果评分），每次选择若干特征，或者排除若干特征。四、特征选择与特征提取

3四、特征选择与特征提取

过滤法1.方差选择：计算各个特征方差，选择方差大于阈值的特征；2.相关系数：计算各个特征的相关系数；3.卡方检验：统计样本的实际观测值与理论推断值之间的偏离程度，实际观测值与理论推断值之间的偏离程度就决定卡方值的大小；4.互信息:计算各个特征的信息增益。以上为一些常用的过滤法优点：快速，只需要基础统计知识。缺点：特征之间的组合效应难以挖掘。

4四、特征选择与特征提取

包裹法Wrapper原理：从初始特征集合中不断的选择特征子集，训练学习器，根据学习器的性能来对子集进行评价，直到选择出最佳的子集，其流程图如下所示。

5四、特征选择与特征提取

包裹法中，特征子集的搜索问题，通常使用的贪心算法：如前向搜索、后向搜索、双向搜索。包裹式特征选择直接针对给定学习器进行优化。优点：从最终学习器的性能来看，包裹式比过滤式更优；缺点：由于特征选择过程中需要多次训练学习器，因此包裹式特征选择的计算开销通常比过滤式特征选择要大得多。

6四、特征选择与特征提取

3.4.2特征提取含义：特征提取是指将机器学习算法不能识别的原始数据转化为算法可以识别的特征的过程。主要方法：主成分分析PCA、线性判别分析LDA主成分分析（PCA）PCA是一种常用的无监督学习方法，其通过正交变换将一组可能存在相关性的变量转换为一组线性不相关的变量，转换后的这组变量叫主成分。主成分的个数通常小于原始变量的个数，因此主成分分析法属于降维方法。

7四、特征选择与特征提取

PCA定义及推导设为一个维随机向量，。设主成分是，样本投影到上之后被广泛散布，使得样本之间的差别变得最明显，即最大化方差。设希望在约束条件下寻求向量，使最大化。同时得到：为了使方差最大，选择具有最大特征值的特征向量，因此，第一个主成分是输入样本的协方差阵的具有最大特征值对应的特征向量。

8四、特征选择与特征提取

PCA定义及推导第二个主成分也应该最大化方差，具有单位长度，并且与正交。对于第二个主成分，我们有关于求导并令其为0，我们有上式两边乘以

9四、特征选择与特征提取

PCA定义及推导其中，可知，并且可得。因此应该是的特征向量，具有第二大特征值类似的，我们可以证明其它维被具有递减的特征值的特征向量给出。

10四、特征选择与特征提取

PCA中的贡献率总方差中属于主成分的比例为 称为主成分的贡献率。第一主成分的贡献率最大，表明它解释原始变量的能力最强，而的解释能力依次递减。??????

11?四、特征选择与特征提取

12实例下表是10位学生的身高、胸围、体重数据，对其进行主成分分析。四、特征选择与特征提取

身高x1(cm)胸围x2(cm)体重x3(kg)149.5162.5162.7162.2156.5156.1172.0173.2159.5157.769.577.078.587.574.574.576.581.574.579.038.555.550.865.549.045.551.059.543.553.5

13四、特征选择与特征提取

求样本均值和样本协方差矩阵求解协方差矩阵的特征方程解得三个特征值及其对应的三个单位特征向量

14四、特征选择与特征提取

4.可以写出三个主成分的表达式：5.三个主成分的方差贡献率分别为：

15四、特征选择与特征提取

线性判别分析（LDA）线性判别分析的基本思想是将高维的模式样本投影到最佳鉴别矢量空间，即把高维空间中的数据点投影到一条直线上去，将多维降为一