广义的势支持特征选择方法.PDF

第 2 章 广义的势支持特征选择方法  2.1 引言 特征选择就是从一组特征中挑选出一些最有效的特征以达到降低特征空间维 数的目的，即在一组数量为D 的特征中选择出数量为  d （ ）的一组最优特 D d 征来，对于分类任务来说，这样做的目的是简化分类算法的时间和空间复杂度， 从而提高了分类算法的精度、效率。总地来说，对于分类问题，解决特征选择问 题的方法总体上分为两类：一类是将特征选择和分类过程分离，特征选择的过程 [13]  和具体的分类器无关，如  RELIEF  算法  ，这类方法称为过滤型方法 （Filter  approach） [13,52,53] ；另外一类是封装型方法（Wrapper  approach） [54,55] ，这类方法 将特征选择和分类器的设计融合在一起， 特征选择性能和采用的分类器密切相关。 两类分法各具特色和不足：滤波型方法实现简单，效率高，但用于分类识别时分 类精度较差；封装型方法具有较高的分类性能，但对于不同的分类器，移植性不 如滤波法。本章研究的重点属于第二大类，即构造一种封装型的特征选择方法。 近年来，基于支持向量机  SVM 技术的封装型特征选择方法由于其一些独特 的优势得到了较为广泛的关注 [2,56,57,58,59,60] 。该类方法最突出的优点是基于结构风 险最小化原理，具有较强的泛化能力。因此，在特征选择问题上较基于经验风险 最小的众多方法具有更好的鲁棒性。 在最近基于支持 向量技术的封装型特征选择方法中，S.  Hochreiter  和  K.  [5,61­63]  Obermayer 等人提出的势支持向量机 （Potential Support Vector Machine，P ­SVM）  方法是最具特色的方法之一。该方法通过定义新的目标函数和相应的边界条件直接 实现对支持特征的选取，因此和一些基于标准 SVM 的特征选择方法 [57­60] 相比具有以 下优点：①由于是直接选取支持特征，而不是通过选择支持向量来实现对特征选取， 所以提高了特征选择的速度；②通过定义新的边界条件减少了边缘误差传播的可能 性，提高了分类和特征选择的精度和稳定性；③通过定义新的目标函数实现了对并 矢数据集 （DyadicMatrix）的处理，从而克服了标准 SVM方法只能处理成对数据集 （Pairwise Matrix）的局限，提高了特征选择和分类的适应性。 [45]  然而通过研究 Fisher线性判别准则  和 P­SVM对应的目标函数发现，P ­SVM  对应的目标函数只是类内离散度的一种特殊情形（即当各类的样本均值为 时对 0 10  基于智能计算的降维技术研究与应用 应的类内离散度） ，从而使得该方法的运用受到一定的限制。同时由于满足各类样 本均值为 ，一定程度上会导致 矢量周围出现样本交叉，从而不利于 P­SVM 方 0 0 法得到最优决策超平面，而且降维后会出现重叠的现象，降低分类效果。针对  P­SVM 存在的不足，本章通过使用标准的类内散度矩阵重新构造目标函数来实现 对  P­SVM  的泛化，提出一种广义的势支持特征选择方法  GPSFM （Generalized  Potential Support Features Selection Method） 。GPS  FM 不但提高了 P­SVM 作为特征 选择方法的适应性， 而且还继承了势支持向量机作为封装型特征选择方法的优点， 同时还具有冗余度底、特征选择快的特点，从而在一定程度上提高了特征选择效