[工学]第8章 特征的选择与提取特征选择.ppt

模 式 识 别 徐蔚然 北京邮电大学信息工程学院 简单回顾 本章讨论的问题 对已有的特征空间进行改造,着重于研究对样本究竟用什么样的度量方法更好 譬如用三种度量来描述苹果与梨 那么是否运用这三种度量是最有效的呢？ 颜色： 这一个指标对区分红苹果与梨很有效 区分黄苹果与梨就会困难得多 即，这个指标就不很有效了 简单回顾 降维主要有两种途径 对特征空间的改造、优化、主要的目的是降维，即把维数高的特征空间改成维数低的特征空间 ，降维主要有两种途径 特征的选择: 一种是删选掉一些次要的特征 问题在于如何确定特征的重要性，以及如何删选 特征的提取: 另一种方法是使用变换的手段，在这里主要限定在线性变换的方法上，通过变换来实现降维 简单回顾 特征选择和特征提取 两者区别 特征选择: 删掉部分特征 特征提取:通过一种映射，也就是说新的每一个特征是原有特征的一个函数 简单回顾 类别可分离性判据 特征选择与特征提取的任务是求出一组对分类最有效的特征 所谓有效是指在特征维数减少到同等水平时，其分类性能最佳 因此需要有定量分析比较的方法, 判断所得到的特征维数及所使用特征是否对分类最有利 这种用以定量检验分类性能的准则称为 类别可分离性判据 简单回顾 类别可分离性判据的种类 基于距离度量的可分性判据 基于概率分布的可分性判据等 特征提取 按欧氏距离度量的特征提取方法 按概率距离判据提取特征 8.4 特征选择 特征选择 即对原有特征进行删选优化 概念上十分简单 一般人常想，只要逐个分析每个特征，判断它对分类的价值，然后根据其优值删去或保留，这是一个为人们常采用方法 但是这种方法并不能保证特征空间的最优组合优化 搜索算法 特征选择的含意 由原有D维特征所组成的特征空间中选出若干个特征，组成描述样本的新特征空间 即从原有的D维空间选取一个d维子空间(d＜D)，在该子空间中进行模式识别 搜索算法 有两个问题要解决 一个是选择特性的标准 也就是选择前面讨论过的可分离性判据 以这些判据为准则，使所选择的d维子空间具有最大的可分离性 另一个问题是要找出较好的特征选择方法 以在允许的时间内选择出一组最优的特征。 所谓最优的特征组，就是要找到合适的特征的组合 搜索算法 计算量问题 如果从逐个特征配组进行性能比较的话，即穷举的算法，特征配组的数量极大 如果D＝100，d＝10，则q的数量级就是1013， 即使D＝20，d＝10，则q也可达184756种。 如果将所有可能的特征配组列举出来，按某选定的可分离性判据进行计算，从中择优，其计算量非常大 搜索算法 如何解决这个问题呢? 如果将每维特征单独计算可分离性判据，并按其大小排队，如 然后直接选用前d个特征构成新的特征空间 能得到最优的可分离性？ 不能 即使所有特征都互相独立，除了一些特殊情况外，一般用前d个最有效的特征组合成的特征组并非是最优的d维特征组 因此采用这种方法并不能保证得到最优的特征组合 搜索算法 要得最优解，就必需采用穷举法 任何非穷举的算法都不能确保所得结果是最优的，因此要得最优解，就必需采用穷举法 搜索技术上采用一些技巧，使计算量有可能降低 最优特征搜索法，次优解的算法 搜索算法 “自上而下”与“自下而上”两类算法 “自上而下”: 从D维特征开始，逐步将其中某些特征删除，直到剩下所要求的d维特征为止。 筛选剩下的特征组在每一步上都是最优的 “自下而上”: 从零维特征空间开始，逐个地从D维持征中选择特征，直至达到预定的维数指标为止。 在每一步都生成最优的特征空间 8.4.1 最优搜索算法 用最少的计算量得到最优的特征组合 “分支定界”算法 能得到最优解的唯一快速算法 属于“自上而下”算法，但是具有回溯功能，可使所有可能的特征组合都被考虑到。 其核心问题 是通过合理组合搜索过程，可以避免一些计算而仍能得到最优的结果。 其关键是利用了判据的单调性 最优搜索算法 判据的单调性 如果特征存在包含关系: 则有: 称该判据具有单调性 讨论过的J1-J5,以及基于概率距离的判据JD,JC,JB都满足上述关系 最优搜索算法 下面我们结合一个从D＝6的六维特征空间选择d＝2的二维最优子空间的例子，说明该算法的原理以及如何利用判据的单调性减少计算量。 设原D维空间有六个特征表示成 {x1,x2,x3,x4,x5,x6} 可用下面的搜索树形结构图表示搜索过程 最优搜索算法 最优搜索算法 搜索树形结构图 根结点为原特征空间，包含全部特征，在这里是六个特征 除了根结点外，其它结点每删除一个特征，结点上的号表示被删特征序号 叶结点本身也删除一个特征，而剩下的特征组的特征数为d，在此为2。 该树的