Support Vector Machines andFlexible Discriminants支持向量...最全版.pptVIP

12.3.3 Function Estimation and Reproducing Kernels 我们以再生核希尔伯特空间中的函数估计来解释SVM。 假设基h是由一个正定核K的(可能是有穷的)的特征展开式产生： 则可将(12.25)写成： * yrty 由5.8节中介绍的再生核希尔伯特空间理论确保存在如下形式的有限维解： 也可以得到最优化准则(12.19)的等价形式： * yrty 12.3.4 SVMs and the Curse of Dimensionality * yrty 12.3.5 Support Vector Machines for Regression 本节讨论如何以继承SVM分类器的某些特性的方式，将SVM用于具有一个定量相应的。首先考虑简单的线性回归模型： 然后处理它的非线性推广。考虑极小化： * yrty 将此与统计学健壮回归使用的误差 度量进行对比：统计学最流行的误差度量具有如下形式： * yrty 若 是H的极小化，可以证明函数 具有如下形式： 其中 ，且求解二次规划问题： * yrty 12.3.7 Regression and Kernels 考虑用基函数集{hm(x)}表示回归函数的逼近： 为估计β和β0，对于某种一般误差度量V(r),极小化： * yrty 对任意选取的V(r)，解 具有如下形式： 其中 举个简单的例子，考虑 令H为N×M基矩阵，第im个元素为hm(xi) 并假设MN，β0=0或为常量被h吸收 我们通过极小化罚最小二乘法标准来估计β： * yrty 解得： 用H左乘上式，得： 那么显然有 * yrty 其实就是取 * yrty 12.4 Generalizing Linear Discriminant Analysis LDA（现行判别分析）的优点： LDA是一个简单的原型分类器，将新观测分类到具有最近中心点的类 LDA建立的判定边界是线性的，导致决策规则易于描述和实现 LDA提供了数据的低维俯视图。 LDA的简单性和地方差，使它通常能产生最好的分类结果 * yrty LDA的简单性会使它在一些情况下无效： 正如前面所讲，线性判定边界并不足以分离类（如类重叠）当N较大时，可能要估计较为复杂的边界，如二次判定边界 LDA中每个类仅一个单一原型是不够充分的，LDA使用类中心店加上公共协方差矩阵描述每个类的数据分布，而实际情况下，多个原型可能更为合适 某些情况下（如数字化模拟信号和图像处理）会有太多与此子。LDA使用太多参数，以较高的方差顾及这些参数，从而影响其性能 * yrty tyuyt utyu tyuyt utyu tyuyt utyu tyuyt utyu tyuyt utyu tyuyt utyu tyuyt utyu tyuyt utyu tyuyt utyu tyuyt utyu tyuyt utyu tyuyt utyu tyuyt utyu Support Vector Machines andFlexible Discriminants支持向量机和柔性判别 By Gaoran Yu* yrty 12.1 Introduction 本章主要讲述关于分类的现行判定边界的推广。对于两个类线性可分的情况，第四章中已经介绍了最佳分离超平面。这里将它扩展到不可分的情况。将第四章所讲的技术推广到支持向量机，通过在一个大的、变换后的特征空间中构造线性边界，支持向量机产生非线性边界。另一种方法集是对费希尔线性判别分析（LDA）的推广，包括柔性判别分析、罚判别分析和混合判别分析 * yrty 12.2 The Support Vector Classifier N对训练集: 超平面（hyperplane)由下式定义： 其中β是单位向量，有f(x)导出的分类规则为： * yrty 超平面的几何形状： 由(12.1)中f(x)给出从点x到超平面f(x)的有符号距离 * yrty 由于类是可分的，我们可以找到函数 即，能找到超平面，在类1和类-1的训练点之间产生最大的边缘。（见图12.1） * yrty 对应于最优化问题： M表示图中的带在超平面的两侧距超平面的距离，宽度为2M。 图中的带被称为边缘（margin） 问题可以更方便地表示为： * yrty 现在假设类在特征空间内有重叠。处理重叠的一种方法认识极大化M，但允许某些点出现在边缘的错误侧。定义松弛变量（slack variable） 则(12.3)中的约束课修改为： 第二种选择能导致“标准的”