第5章数据分类2(支持向量机)汇总.pptVIP

5.4 支持向量机 简介 分类问题的提出 线性可分支持向量分类机 线性支持向量分类机 支持向量分类机 推广能力的理论估计 简介 支持向量机(Support Vector Machine, SVM)是基于统计学习理论的新一代学习算法，由Vapnik等提出的。在1992年计算学习理论的会议上被引入机器学习领域之后受到了广泛的关注；在20世纪90年代中后期得到了全面深入地发展。在若干具有挑战性的应用中，获得了目前为止最好的性能和泛化能力。 分类问题 分类问题: 训练集 其中： ， 分类问题的类型 线性可分问题 线性可分支持向量分类机 近似线性可分问题 线性支持向量分类机 线性不可分问题 支持向量分类机 ★ ★ ★ 分类问题的类型 线性可分支持向量分类机 + + + + + + 选择哪一条呢? + + + + + + + + 线性可分问题： 线性可分支持向量分类机 假设所求直线的法方向 已经给定，但正确划分这两类点的直线有很多 ,如图 。 + + + + + + + 线性可分支持向量分类机 有两条极端直线 , 如图 ，称这两条直线间的距离为与该法方向相应的“间隔” 。 + + 在SVM中，选取使“间隔”达到最大的法方向。 线性可分支持向量分类机 给定适当的法方向 后，这两条直线可表示为： 与此相应的分化直线的表达式为 。直接计 算两条极端直线的距离为 ，即相应的间隔为 。 线性可分支持向量分类机 极大化“间隔”的思想导致求解下列对变量 和 的最 优化问题： 线性可分支持向量分类机 （1）设已知训练集 （2） 构造并求解对变量 和 的最优化问题 求得最优解： 和 。 （3）构造分类超平面 ，由此求得决策函数 Ѝ 耍 集 Р $ $ Ƞ ，其 č  耍 č 中 $ 0 Ġ ， Ġ 耠 ， （2）构造并求解对变量 － 的攀䜘化问题   求得最优解 묌 （3﬉构퀠分化超平面 p Р  （由此求得决策函数 䀠   ࠠ Ƞ Р   ( 最大间隔算法: 原始问题和对偶问题的关系 原始问题: 相应的 函数为 其中 . 原始问题和对偶问题的关系 根据 对偶定理，对 关于 求极小，即 然后将上述极值条件代人函数 ，对 求极大，得到对 偶问题 线性可分支持向量分类机 构造并求解最优化问题 得最优解 然后计算 ；选择 的一个正分量 并据此计算 算法变为: 线性支持向量分类机 近似线性可分问题： 线性支持向量分类机 对第 个训练