支持向量机的核选择.pdfVIP

摘 要 Vector 由Vapnik等人提出的支持向量机(SupportMachine，SⅧ)技术， 由于具有极强的模型泛化能力，不会陷入局部极小点，以及很强的非线性处理能 力等特点，近十年来取得了全面飞速的发展，获得了大量成功的应用，已成为模 式识别中最为活跃的研究领域之一。 当前，选择合适的核函数及其参数(核选择)已成为SVM进一步发展的关键 点和难点。核函数决定了SVM的非线性处理能力，也决定着分类函数的构造，而 对具体问题而言，选择合适的核函数及其参数，还存在着许多的实际困难。 针对SVM中的核选择问题，本文对SVM的模型问题、特征空间线性可分的结 构问题、核学习中基核的选择问题、以及核函数及其参数的评判准则问题开展了 深入的探讨，主要的工作有： 1．在SVM的模型方面，给出了L2一范数下平分最近点原理问题；然后得到了 它的解与最大间隔原理问题的解之间的关系，建立了它与最大间隔原理的等价 性；指出它还具有模型性质更好、几何意义更直观、能利用求解凸包之间距离的 minimal 内点算法等优点；最后给出了它的SMO(Sequentialoptimization)求解 算法。 2．在特征空间线性可分的结构方面，利用平分最近点原理模型，通过对核 矩阵零空间的深入分析，得出特征空间中样本线性可分与核矩阵零空间关系的一 个充要条件． 3．在基核矩阵的选取方面，首先提出矩阵的秩空间差异性(RankSpace Diversity，RSD)概念，其次将其作为基核矩阵的差异性度量，由此导出选择基 核矩阵的一个定量规则“基核矩阵的秩空间差异性越大越好”。我们还给出了基 于L2-范数下平分最近点原理的核学习模型和模型求解算法；最后通过实验验证 了基核矩阵选择规则的有效性。 4．在核函数及其参数的评判准则方面，首先从分类函数抗样本扰动的“泛 化性能’’出发，分析了传统最大间隔原理的不足，提出了分类函数的鲁棒度概念； 探讨了鲁棒度的性质：并提出用最大鲁棒度作为核选择的评判准则；通过与经典 的交叉验证方法和最小支持向量数方法的实验对比，表明最大鲁棒度准则克服了 交叉验证方法时间代价高，最小支持向量数方法测试准确率不稳定的缺点，获得 了很好的结果。 5．在核学习方面，提出了按单属性设计基核，以最大鲁棒度为优化目标的 核学习方法，给出了鲁棒度的梯度计算公式和模型的求解算法，并用实验表明了 该方法的有效性和优越性。 关键词：SVM；核选择；秩空间差异性；鲁棒度；平分最近点 Ⅱ Abstract havebeen in Inthelastten there verysignificant the years developments theoretical of Vector Support understanding Machines(SVMs)，proposedbyVapnik and for others，aswell硒algorithmicstrategiesimplementingthem,and applications ofthe to approachpracticalproblems． selectionoftheSVM-kernel谢msuitableformand Nowadays，the parameters