基于递归SVM高光谱数据特征选择算法研究.pdfVIP

基于递归SVM的高光谱数据特征选择算法研究 张睿1陈雪1马建文2 1中国科学院遥感应用研究所2中国科学院对地观测与数字地球科学中心 Vector Machine，支持向量机)算法开展高 摘要t本文提出一种改进的递归SⅧ(Support 光谱数据的光谱特征选择研究。SVM算法具有小样本训练、支持高维特征空间的特点，在进 行光谱特征选择时，使用SVM中的权值来衡量每个波段的重要性。递归SVM算法遵循了标 准SVM-RFE算法，但在排序准则上采用类别的均值作为类别代表，使用高斯径向基函数作 特征选择结果与传统的SⅧ一RFE相比较，利用该算法进行特征选择后的分类精度有所提高， 计算时间缩短，在有噪声情况下表现出更好的鲁棒性和稳定性。 关键词：光谱特征选择；递归SVM；递归特征约减 引言 VectorMachineRecursiveFeature 支持向量机递归特征约减SVM—RFE(Support et 据的基因选择(Guyona1．2002)。本文提出了一种改进的递归SVM算法用于高光谱数据 eta1．2002)，但是在排序准则上 的特征选择，该算法遵循了SVM—RFE算法的流程(Guyon eta1．2006)。经过该算法进行特征选择后的数据分类 使用了递归SVM的基本原理(Zhang 精度比传统的SVM-RFE有所提高，在有噪声情况下更加稳定，并且特征选择过程耗时较短， 具有更强的实用性。 1 SVM-RFE算法 eta1．2002)，是一种基于SVld中最大间隔原 SWl—RFE算法由I．Guyon等提出(Guyon 理的后向序列约减算法。这种算法以迭代方式运行，从全部波段开始，在每次迭代中选择 并移除对分类器作用最小的波段，直到原始波段列表为空或选择波段达到预先设定的波段 对所有波段进行排序，并评估每一波段对分类的影响。权重的定义为： ㈣2=∑a；a；YiyjK(xi，_) (1) 『．j=1 ． 排序准则R为完整sⅧ问题权重0∥I}2与假设移除某一波段后的sⅧ问题权重0形‘训112 差的绝对值，排序准则R．定义为： 。 。 。Ii，，2l I，，2l (2) 其中，‘／代表循环变量，，代表类别标记，Ⅳ代表样本数目，iP代表移除了第p波段 76 后的训练点，K(t，t)表示核函数。西和口；‘一p’由解算SVM对偶优化问题得到：S代表现 有波段列表，在得到了所有波段的R后，约减最小的值所对应的波段，即移除对分类器作 用最小的波段。重复上面的过程，直到原始波段列表为空或选择波段达到预先设定的波段 数目。 2改进的递归SVM特征选择算法 个算法策略可以概括如下： (1)初始化： 设排序特征集：斤=[]； 选择后的特征子集：S=[1，…，翻。 (2)重复下面的过程直到所有的特征都被排序： (a)将特征子集S作为输入变量训练SVM。通常使用拉格朗日法解算SVM的对偶优化 问题，得到支持向量SV以及∞，用于后续的步骤。在改进的递归SVM算法计算中，使用高 斯径向基函数作为核函数。 。 (b)计算权值向量并衡量类别区分度。权值向量通过w=∑％M①(xj)计算得到。 类别区分度S可以通过计算权值分量W；和类别均值的