Lecture9_SVM.pptx

SVMChapter 14主要内容SVM最大间隔(margin)分类器对偶表示(Dual Representation)Hinge 损失回归中的SVM稀疏核模型稀疏：只选择训练样本的子集 (Chapter 13 中 D=N)通过L1 正则达到稀疏稀疏向量机(Sparse Vector Machine)通过自动相关性确定达到稀疏 (Automatic Relevancy Determination, ARD)相关向量机(Relevance Vector Machine, RVM)更稀疏但非凸 通过损失函数 + L2 正则达到稀疏支持向量机(Support Vector Machine, SVM)分类：Hinge Loss回归：ε-insensitive Loss SVM回顾正则化的经验风险最小：分类：将负log似然损失用 hinge loss代替回归：损失函数用 ε 不敏感损失代替解是稀疏的：用损失函数表达稀疏性而非先验支持向量机(Support Vector Machine)最大间隔准则：最大化两个类最近点之间的距离。这个距离被称为间隔(margin)。 边缘上的点被称为支持向量(support vectors)。我们先假设分类器是线性可分的。最大间隔准则线性分类面：则有其中x到分类面的距离r最大间隔准则代入得到当x=0时，原点到分类面的距离线性判别函数线性判别函数利用一个超平面把