第一章 SupportVectorMachinesandFlexibleDiscriminants支持向量.pptVIP

Support Vector Machines andFlexible Discriminants支持向量机和柔性判别 By Gaoran Yu12.1 Introduction 本章主要讲述关于分类的现行判定边界的推广。对于两个类线性可分的情况，第四章中已经介绍了最佳分离超平面。这里将它扩展到不可分的情况。将第四章所讲的技术推广到支持向量机，通过在一个大的、变换后的特征空间中构造线性边界，支持向量机产生非线性边界。另一种方法集是对费希尔线性判别分析（LDA）的推广，包括柔性判别分析、罚判别分析和混合判别分析 12.2 The Support Vector Classifier N对训练集: 超平面（hyperplane)由下式定义： 其中β是单位向量，有f(x)导出的分类规则为： 超平面的几何形状： 由(12.1)中f(x)给出从点x到超平面f(x)的有符号距离 由于类是可分的，我们可以找到函数 即，能找到超平面，在类1和类-1的训练点之间产生最大的边缘。（见图12.1） 对应于最优化问题： M表示图中的带在超平面的两侧距超平面的距离，宽度为2M。 图中的带被称为边缘（margin） 问题可以更方便地表示为： 现在假设类在特征空间内有重叠。处理重叠的一种方法认识极大化M，但允许某些点出现在边缘的错误侧。定义松弛变量（slack variable） 则(12.3)中的约束课修改为： 第二种选择能导致“标准的”支持向量分类器，所以一般使用它 定义 则(12.4)可改写为 从(12.7)中，我们可以看到在其边界以内的点对边界形成所起的作用不大。这是它区别与现行判别分析的一个重要特性。在LDA中，判定界限有类分布的协方差和类质心的位置来确定 12.2.1 Computing the Support Vector Classifier (12.7)可等价地表示为： 其中C代表(12.7)中的常量；可分情况相当于C=∞ 由于问题(12.8)是二次的，具有线性不等式约束，所以是一个凸二次问题。利用拉格朗日乘子法： 拉格朗日函数是： 对于 ，我们对其极小化，令各自导数为0，有： 和正约束： 将3式代入，得到拉格朗日对偶函数： 除(12.10)到(12.12)外，Karush-Kuhn-Tucker条件还包括约束： 从(12.10)可看出，β的解有如下形式： 12.2.2 Mixture Example 12.3 Support Vector Machines and Kernels 迄今为止讨论的支持向量分类器发现了输入特征空间的线性边界。我们可以通过使用基展开，如多项式，来扩大特征空间，从而使过程更加灵活。通常在扩大的特征空间中能较好地事先训练类的分离，并变换成原始空间中的线性边界。一旦选择基函数 拟合SV分类器，并产生非线性函数 和以前一样，分类器是 12.3.1 Computing the SVM for Classification 由(12.3)拉格朗日对偶函数有如下形式： 则解函数f(x)可表示成： 由于(12.9)和(12.10)仅通过内积涉及h(x), 所以不需要制定变换h(x),而只需知道核函数： 在SVM文献中，对K的三种流行选择： 事实上，一般先选取核函数，在计算它的特征函数从而的到基函数： 例：混合数据的两个非线性SVM： 左图使用4次多项式核，右图使用径向基核 在每种情况下，调整C的取值以近似事先最好检验误差性能，在C=1时，两种情况都做的很好。 12.3.2 The SVM as a Penalization Method 对 考虑优化问题： 其中下标“+”指出正的部分。它的形式是“损失+罚” 对损失函数L(y,f)=[1-yf]，的研究表明，与其他传统的损失函数相比，它对2-类分类是合理的 对数似然和损失有相似的尾，对边缘点给予0惩罚，对错误侧和远离点给予线性惩罚。平方误差给出2次罚，并且边缘内的点对模型也有很强影响 我们可以根据它们在总体级的估计来 刻画三种损失函数的特点，考虑最小化 EL(Y,f(X))。汇总结果见下表 12.3.3 Function Estimation and Reproducing Kernels 我们以再生核希尔伯特空间中的函数估计来解释SVM。 假设基h是由一个正定核K的(可能是有穷的)的特征展开式产生： 则可将(