基于特征选择地最少核分类器研究.pdfVIP

第七届中国石油和化工自动化技术年会论文集 基于特征选择的最少核分类器研究 刘太安 杨柏翠 刘欣颖 李涵 山东科技大学信息工程系教科部 山东省泰安市 271019 摘要t针对支持向量机在特征选择方面具有自动选择的功能，提出了一种改进的最少核分类器。在样本测试中使用更少的特 征维数，减少识别过程计算量。数值试验表明，改进过的分类器能有效压缩无用的特征属性，具有较强的泛化能力。 关键词：SVM：特征选择：核函数：最少核分类器 1引言 支持向量机分类问题中存在大量的是非线性可分问题。解决非线性可分问题的关键之一是核函数问 题。为了解决这个问题，GlennM．Fung等人提出了最少核分类器…，利用最少的样本数据点来表示得到的 一般线性规划SVM分类器，大大减少了对以后的测试样本点的测试计算量。但是现实中的某些高维数据却 仍然使得在构造分类器的时候产生很大的麻烦，甚至会极大的降低所构造出的分类器的性能。大多数冗余 的特征属性在构造分类器的时候是可以被压缩的，而且去掉了多余的特征属性后的分类器往往还能表现出 更强的泛化能力，这就是大多数学者致力于特征选择研究的由来。文献[2，3，4]提出了解决SVM中特征选 择问题的方法，本文是针对最少核分类器给出相应的特征选择模型和算法，解决了在原始输入空间中进行 特征选择的问题，同时使得在测试新样本时只需要获得样本少数的几个特征属性值就能完成分类目的。 2一般线性规划支持向量机和最少核分类器 标准支持向量机分类问题的模型如下： 幽圭11wll2+c善m磊 泣t， SJ．Yi(w名一易)+磊≥1， (2．2) 毒20，i=1，2，…，m (2．3) 写成矩阵形式： 皿n丢11wll2+＆名 (2．4) sJ．D(Aw-eb)+孝≥e。 (2．5) 孝≥0 (2．6) 此处是采用2一范数对两最优平行超平酡间的间隔开2进行度量，得到了标准的二次规划问题，如 果采用卜范数进行度量，则对应得到线性规划问题。 Mangasarian于2000年提出了一般的SvM㈨； 528 第七届中国石油和化工自动化技术年会论文集 ．nin，(蹦)+＆管 (2．7) s．t．D(K(A，A7)D口一已6)+孝≥e， (2．8) 考≥0 (2．9) 其非线性核分类器对应为：K(／，A’)Du=b，这里非零的U就对应为分类器中的支持向量，而K为 任意一个核函数。f是关于嚣的一个函数，主要目的就是使得U的分量尽可能多的为零，或者使得在高维 空间中分离平行超平面之间的问隔最大。如果我们令厂(M)=肛ll。就可得到如下的一般线性规划SVM： milldv+cd善 (2．10) J．f．D(K(A，A)Du—P6)+孝≥P， (2．11) VU一V． (2．12) f≥0