SVM-及SMO算法实现.ppt

SVM 算法与实现;报告内容;SVM算法特点;(1) SVM算法对大规模训练样本难以实施 由于SVM是借助二次规划来求解支持向量，而求解二次规划将涉及m阶矩阵的计算（m为样本的个数），当m数目很大时该矩阵的存储和计算将耗费大量的机器内存和运算时间。针对以上问题的主要改进有有J.Platt的SMO算法、T.Joachims的SVM、C.J.C.Burges等的PCGC、张学工的CSVM以及O.L.Mangasarian等的SOR算法 (2) 用SVM解决多分类问题存在困难 经典的支持向量机算法只给出了二类分类的算法，而在数据挖掘的实际应用中，一般要解决多类的分类问题。可以通过多个二类支持向量机的组合来解决。主要有一对多组合模式、一对一组合模式和SVM决策树；再就是通过构造多个分类器的组合来解决。主要原理是克服SVM固有的缺点，结合其他算法的优势，解决多类问题的分类精度。如：与粗集理论结合，形成一种优势互补的多类问题的组???分类器。 ;问题提出;我们怎样才能取得一个最优的划分直线f(x)呢？;最大距离Maximum Marginal;最大距离;求解问题;求解;求解：对偶问题;求解;求解问题;核函数;线性不可分的情况;软间隔C-SVM;软支持向量机求解;求解问题;问题？;求解方法：坐标上升法;问题？;SMO算法;SMO算法;SMO算法;其中：;参数的求解;a的取值范围;参数求解;b的求解;b的求解;问题？;停止条件1;KKT条件：;等价于：;停止条件2;停止条件3;;;启发式选择算法;其他求解方法;;分解算法;工作集的选取;相关软件;问题;On the Algorithmic Implementation ofMulticlass Kernel-based Vector Machines;基本思想;问题描述;;最优化问题;最优化问题;引入拉格朗日函数;;;对偶函数;;;构建拉格朗日函数;关于λ的等式 可以用fixed-point算法;λ =f(λ);求解算法;;总结;一些问题;;谢谢！