SVM+支持向量机+PPT.pptVIP

支持向量机简介 作者：黄艳 判别函数分类器 支持向量机概述 支持向量机理论 广义最优分类面 一个简单的例子 非线性问题 核方法 Mercer条件 核函数 解决非线性问题 支持向量机实现 * * 二维空间中的一个点 三类图像 分界线方程 判别函数 判别函数描述了各类之间的分界线的具体形式 判别函数描述了各类之间的分界线的具体形式 实现判别函数分类 线性 非线性 感知器算法、增量校正算法、LMSE分类算法和Fisher分类 分段线性函数法、基于核的Fisher分类、支持向量机 支持向量机(Surpport Vector Machines) 是Vapnik等人根据统计学理论提出的一种新的通用学习方法，它是建立在统计学理论的VC维理论和结构风险最小原理基础上的，能较好地解决小样本、非线性、高维数和局部极小点等实际问题。 传统的估计高维函数依赖关系的方法所坚持的信念 实际问题中总存在较少数目的一些“强特征”，用它们的简单函数（如线性组合）就能较好地逼近未知函数。因此，需要仔细地选择一个低维的特征空间，在这个空间中用常规的统计技术来求解一个逼近。 SVM所坚持的信念 实际问题中存在较大数目的一些“弱特征”，它们“巧妙的”线性组合可较好地逼近未知的依赖关系。因此，采用什么样的“弱特征”并不十分重要，而形成“巧妙的”线性组合更为重要。 假定训练数据 可以被一个超平面分开 我们进行正归化 此时分类间隔等于 使最大间隔最大等价于使 最小 最优分类面问题可以表示成约束优化问题 Minimize Subject to 定义Lagrange函数 Lagrange函数 x1 =(0, 0), y1 = +1 x2 =(1, 0), y2 = +1 x3 =(2, 0), y3 = -1 x4 =(0, 2), y4 = -1 很多情况下，训练数据集是线性不可分的，Vapnik等人提出了用广义分类面（松弛子）来解决这一问题。 非线性问题——通过非线性变换将它转化为某个高维空间中的线性问题，在这个高维空间中寻找最优分类面。 分类函数只涉及到训练样本之间的内积运算 , 因此,在高维空间中只需进行内积运算,这种内积运算可通过定义在原空间中的函数来实现, 甚至不必知道变换的形式。 数据空间 特征空间 非线性映射 映射函数 对于任意的对称函数 ，它是某个特征空间中的内积运算的充要条件是，对于任意的 且 ，有 SVM中不同的内积核函数将形成不同的算法,主要的核函数有三类： 多项式核函数 径向基函数(RBF) 多层感知器核函数（Sigmoid核函数） 核函数的选择及相关参数的确定是问题的关键和难点所在。 在最优分类面中采用适当的内积函数就可以实现某一非线性变换后的线性分类,而计算复杂度却没有增加。