(4.5)--4.5 软间隔SVM机器学习与模式识别.pptVIP

SolvingSoftMarginSVM软间隔SVM求解

CHAPTERONE问题模型Problemmodel

一、问题模型大多数分类问题是线性不可分的我们需要一个允许出现分类误差的模型软间隔——样本在一定程度下可以侵入到分类间隔区域内部问题的提出——线性不可分

代理损失(surrogateloss)考虑侵入间隔区域的样本，设计一个新的损失函数。???其中：一、问题模型

代理损失(surrogateloss)常用的代理损失?一、问题模型

松弛变量的引入如果采用Hingeloss,可对每一个训练样本(????,????)引入对应的“松弛变量”????，此时对应的优化目标为：??相应的约束条件变为：?引入松弛变量????，放宽了约束条件，因此可以解决线性不可分问题。思考：目标函数中的??起到了什么作用？一、问题模型

惩罚系数C(1)C比较小时(2)C比较大时-??越小，????越大?间隔变大-??越大，????越小?间隔变小一、问题模型

软间隔的原始问题??相应的拉格朗日函数为：???则软间隔SVM的原始问题为：一、问题模型

CHAPTERTWO问题转化Problemtransformation

软间隔的对偶问题原始问题的拉格朗日对偶问题为：?其中???将(1)(2)(3)式代入??(??,??,??,??,??)中，可得?二、问题转化

软间隔的对偶