支持向量机及其在小样本分类和回归中的应用.pptVIP

理学院 信息与计算科学 信息与计算科学 支持向量机及其在小样本分类和回归中的应用 zuosheng June 5, 2007 主要内容 SVM的理论基础 SVM理论 SVM算法优化 SVM逼近效果模拟 SVM算法改进 SVM的理论基础 传统的统计模式识别方法只有在样本趋向无穷大时，其性能才有理论的保证。 Vladimir N.Vapnik等人早在20世纪60年代就开始研究有限样本情况下的机器学习问题，在90年代形成了统计学习理论。 统计学习理论（STL）研究有限样本情况下的机器学习问题。SVM的理论基础正是统计学习理论。 Vapnik 提出的支持向量机（Support Vector Machine, SVM）是一种基于结构风险最小化准则的学习方法，其推广能力明显优于一些传统的学习方法。 SVM理论 训练点： 最优分类面：比如训练点如图所示： 这样可以得到一个两个边界 分类直线（分类面）和一个 最优分类线（分类面）,两 条边界直线的距离为 最优化问题和判别面 这样可以得到一个最大间隔思想： 判别面：由 得到决策函数 如右图所示： 广义最优分类面 为了能够有更好的分类效果，引入松弛变量 使约束条件为： 优化问题： 转换为二次优化问题： Lagrange方程： 广义最优面的求解