线性口袋算法改了线性感知器算法.docVIP

线性口袋算法改进了线性感知器算法，能够直接处理线性不可分问题 1、SVM从线性可分情况下的最优分类面发展而来。H为分类线,H1, H2分别为过各类中离分类线最近的样本且平行于分类线的直线, 它们之间的距离叫做分类间隔(margin)。推广到高维空间，最优分类线就变为最优分类面。 2、最优分类面就是要求分类线不但能将两类正确分开(训练错误率为0),且使分类间隔最大。 3、SVM考虑寻找一个满足分类要求的超平面,并且使训练集中的点距离分类面尽可能的远,也就是寻找一个分类面使它两侧的空白区域(margin)最大。 4、过两类样本中离分类面最近的点且平行于最优分类面的超平面上H1,H2的训练样本就叫做支持向量。 2、广义最优分类面 假定训练数据 可以被一个超平面分开 我们进行正归化 此时分类间隔等于 使最大间隔最大等价于使最小 我们可以对它进行归一化，使得所有样本都满足，即离分类面最近的样本满足，这样分类间隔就等于。因此要求分类间隔最大，就是要求最小。而要求分类面对所有样本正确分类，就是要求满足。因此，满足上面公式且使最小的分类面就是最优分类面。 最优分类面问题可以表示成约束优化问题 Minimize Subject to 定义Lagrange函数 求偏导： 得 将上式代入拉格朗日函数，消去w和b得到原问题的Wolf对偶（Dual）问题： 可调用Matlab中的二次规划