多分类的支持向量机.pptxVIP

支持向量机Support Vector Machine陈方2013.06.15主要内容线性可分SVM线性不可分SVM线性近似可分SVM SVM的应用实验线性可分SVM 病人编号年龄[x]1胆固醇水平[x]2有心脏病y160165Y=-1257150Y=-1::::1070190Y=1线性可分SVM 线性可分：一个线性函数可以将样本完全正确分开线性函数：(点、直线、平面 )统称超平面(两类)分类标准：线性可分SVM取目标函数为 最大分类间隔线性可分SVM寻找最宽边界问题可以表示成一个约束优化问题：线性可分SVM Lagrange乘子Lagrange函数原始函数对偶函数为线性可分SVM借助Lagrange方法求解，只涉及到 之间的点积运算线性可分SVM线性可分SVM所有非 Supporting Vector 所对应的系数 α 都是等于零的?表示向量内积，是之后使用 Kernel 进行非线性推广的基本前提因此分类函数为：非线性可分SVM通过某种事先选择的非线性映射(核函数)将输入变量映射到一个高维特征空间，在这个空间中构造最优分类超平面非线性可分SVM二次曲线：非线性可分SVM计算两个向量在隐式映射过后的空间中的内积的函数叫做核函数 (Kernel Function)：核函数非线性可分SVM核函数能简化映射空间中的内积运算 -SVM 里需要计算的地方数据向量总是以内积的形式出现的非线性可分SVM 几种常见的核函数多项式:径向基:双曲正弦:高斯核：非线性可分SVM对于任意的g(x) 有 核函数存在条件：线性近似可分SVM对第 i个训练点 引入松弛变量(Slack Variable) ,把约束条件放松到 。线性近似可分SVM把损失加入到目标函数里的时候，引入一个惩 罚因子CSVM用于多类分类一对多(一类对其余) -分类重叠 -不可分类SVM用于多类分类112233一对一 -投票机制 -分类重叠SVM用于多类分类两向无环图 -误差累积1vs52vs51vs43vs52vs41vs34vs53vs42vs31vs252134 SVM的应用文本分类人脸识别语音识别遥感图像分析函数逼近时间序列预测数据压缩实验Libsvm 谢谢！这里目标函数中的 没有其他意义，只是为了下一步导出求解方法时方便，千万不要把xi当成变量，它代表样本，是已知的利用对偶问题表达的优化问题，将原来的问题变成了容易求解的无约束问题解一个只带等式约束的优化问题，也是背得烂熟的，求条件极值，通过添加拉格朗日乘子，构造拉格朗日函数，来把这个问题转化为无约束的优化问题云云，求这样的g(x)的过程就是求w（一个n维向量）和b（一个实数）两个参数的过程（但实际上只需要求w，求得以后找某些样本点代入就可以求得b）。因此在求g(x)的时候，w才是变量。以前新来的要分类的样本首先根据w和b做一次线性运算，然后看求的结果是大于0还是小于0,来判断正例还是负例。现在有了，我们不需要求出w，只需将新来的样本和训练数据中的所有样本做内积和即可。那有人会说，与前面所有的样本都做运算是不是太耗时了？其实不然，我们从KKT条件中得到，只有支持向量的，其他情况。因此，我们只需求新来的样本和支持向量的内积，然后运算即可。这种写法为下面要提到的核函数（kernel）做了很好的铺垫在最初的例子里，我们对一个二维空间做映射，选择的新空间是原始空间的所有一阶和二阶的组合，得到了五个维度；如果原始空间是三维，那么我们会得到 19 维的新空间，这个数目是呈爆炸性增长的，这给 的计算带来了非常大的困难，而且如果遇到无穷维的情况，就根本无从计算了一个是映射到高维空间中，然后再根据内积的公式进行计算；而另一个则直接在原来的低维空间中进行计算，而不需要显式地写出映射后的结果。避开了直接在高维空间中进行计算函数的价值在于它虽然也是讲特征进行从低维到高维的转换，但核函数绝就绝在它事先在低维上进行计算，而将实质上的分类效果表现在了高维上，也就如上文所说的避免了直接在高维空间中的复杂计算。对于非线性的情况，SVM 的处理方法是选择一个核函数 κ(?,?) ，通过将数据映射到高维空间，来解决在原始空间中线性不可分的问题不要求所有训练点都满足约束条件 用黑圈圈起来的那个蓝点是一个 outlier ，它偏离了自己原本所应该在的那个半空间，如果直接忽略掉它的话，原来的分隔超平面还是挺好的，但是由于这个 outlier 的出现，导致分隔超平面不得不被挤歪了，变成途中黑色虚线所示（这只是一个示意图，并没有严格计算精确坐标），同时 margin 也相应变小了。当然，更严重的情况是，如果这个 outlier 再往右上移动一些距离