第七章特征选择与提取.pptVIP

第七章 特征选择与提取 于是： 特征向量的求解就用前面的对角化方法： m维空间中的任何非奇异变换矩阵A都不改变J(W)的值，因此可以忽略A。 (请自己证明） 设矩阵 的特征值为 则选取前m个特征值对应的特征向量作为W，则 关于LDA的几点说明： 对于k类问题，选出的特征个数最多只有k-1，这是因为　　的秩最多 为k-1。因此，对应非零特征根的特征向量最多有k-1个，那些零特征根对 应的特征向量对判据 的值没有任何影响。 LDA可以从另一个角度很容易的推出：假设每类数据服从不同均值， 相同协方差均阵　 的正态分布。从最小错误率准则出发就可以得到相同的结果。 回忆Bayes决策理论一章的习题，两类问题，正态分布且相同协方差矩阵的假设下，决策面是超平面： 特征： 就是矩阵 的特征向量。因为 推广: (1) LDA可以从相同协方差矩阵的正态分布假设和最小错误率准则推出，是Campbell在1984年指出的。 (2) 可以做两方面的推广： 假设各类服从协方差矩阵不同的正态分布，称为Heteroscedastic Discriminant Analysis (HDA). 假设各类服从协方差矩阵相同的Gauss混合分布。 7.5.2 特征选择 特征选择是从原始特征中挑选出一些最有代表性，分类性能最好的特征来。?? 每个特征的状态是离散的—选与不选。 从N个特征中选取k个,共种 组合。若不限定个数，则共 种。－NP 问题?? 这是一个典型的组合优化问题 特征选择的方法大体可分两大类： （1）Filter方法：不考虑所使用的学习算法。通常给出一个独立于分类器的指标μ来评价所选择的特征子集S，然后在所有可能的特征子集中搜索出使得μ最大的特征子集作为最优特征子集。 （2）Wrapper方法：将特征选择和分类器结合在一起，即特征子集的好坏标准是由分类器决定的，在学习过程中表现优异的的特征子集会被选中。 一种Filter算法: FOCUS ?? 该算法致力于寻找一个能够正确区分所有类别的最小特征集合。例如，若区分每个人的特征有：姓名、性别、籍贯、工作单位、身份证号……则该算法会选择：身份证号。搜索时先看一个特征能否正确区分样本，若不能，则考察两个特征……以此类推 一种Wrapper算法：OBLIVION ?? 该方法与最近邻法结合，根据特征子集的分类表现来选择特征。用顺序后退法搜索特征子集：从全体特征开始，每次剔除一个特征，使得所保留的特征集合有最大的分类识别率（基于最近邻法)。依次迭代，直至识别率开始下降为止用leave-one-out 方法估计平均识别率：用N-1个样本判断余下一个的类别，N次取平均。 许多特征选择算法力求解决搜索问题，经典算法有： 分支定界法，顺序后退法，顺序前进法，模拟退火法，Tabu搜索法，遗传算法 特征选择－遗传算法 1、算法的哲学思想：“物竞天择，适者生存” 2、几个术语： （1）基因链码：使用遗传算法时要把问题的每个解编码成一个基因链码。比如要从D个特征中挑选d个,就用一个D位的0或1组成的字符串表示一种特征组合。1表示该特征被选中每个基因链码代表一个解，称作一个“个体”，其中的每一位看作一个“基因” 效果举例 比如在某组数据的实际中 7.3.2 非最优搜索方法 非最优，但某些情况下最优，实现简单 （1）单独最优组合 选前d 个单独最佳的特征 （2）SFS 法（Sequential Forward Selection：顺序前进，前向贯序） 从底向上 每加入一个特征寻优一次，使加入该特征后所得组合最大 特点：考虑了特征间的相关性，但某特下一经入选，即无法淘汰 （3）广义SFS 法（GSFS） 从底向上，每次增加l 个特征。考虑了新增特征中的相关性 计算量比SFS 大，若l = d ，（一步加满），则就是穷举法 （4）SBS 法（顺序后退，后向贯序） 从顶向下，每次减一个特征 与SFS 相对，一旦失去，无法换回 （5）广义SBS 法（GSBS） 从顶向下，每次减r 个特征 （6）L－R 法（增l减r 法） 自底向上，每次增l个再减r 个特征（ l r ） 或向顶向下，每次减r 个再增l个特征（ l r ） 特点：带有局部回溯过程 （7）广义L－R 法（ ( , ) 法） 增l 分成 步进行，减r 分成 步进行。 目的是在适当考虑特征间相关性的同时又能保持适当的计算量。 模拟退火法（Simulated Annealing） Tabu 搜索算