第4章支持向量机及其学习算法要点分析.ppt

在原始二维输入空间中，分类函数则是双曲线，如图2所示。图中的 “□”和“○”分别代表两个不同的类别，“+”表示支持向量。在图2中可以看出，这两类样本点可以被图中所示的分类曲线分开，而且这四个样本点均为支持向量。 训练样本图像 部分测试样本图像 【例4-4】 三类形状交通标志识别 本例为三类形状识别，在此使用基于二叉树的多类SVM分类方法进行分类识别，因此需要构造两个支持向量机分类器。在训练过程中，首先将训练图像二值化，再用离散Hough变换对各类形状样本进行特征提取，分别得到1*32的特征向量，作为支持向量机的输入。第1个支持向量机以三角形标志作为正的训练样本，将四边形和圆形作为负的训练样本训练SVM1，第2个支持向量机以四边形为正的训练样本，将圆形作为负的训练样本训练SVM2。使用支持向量机相应的分类函数svc，svcoutput进行仿真实验。实验中，采用RBF核函数，核宽度为1，惩罚因子C取100。 【例4-5】用不同类型的支持向量机实现函数拟合。 试设计支持向量机实现下面这对数组的函数拟合： P= -1:0.1:1； T=[-0.96 -0.577 -0.0729 0.377 0.641 0.66 0.461 0.1336… -0.201 -0.434 -0.5 -0.393 -0.1647 0.0988 0.3072… 0.396 0.3449 0.1816 -0.0312 0.2183 -0.3201] 本例使用支持向量机相应的回归函数svr，svrplot，svroutput进行函数拟合的仿真。实验中，采用RBF核函数，惩罚因子C取100，控制回归估计精度的不敏感参数 取0.02。考虑到即使针对同一问题，使用不同的核函数也会得到不同的拟合效果，分别使用核宽度为0.1，1，0.01的RBF核函数进行拟合。 由此可见，核函数的选择对于函数的拟合效果有着至关重要的影响。就此例而言，若使用的核宽度相对来说比较大，会得到较为平缓的高斯函数曲线，这样得到的拟合效果不好，对应的泛化能力必然很差。相反，若使用的核宽度过小，会得到较为尖锐的高斯函数曲线，使得每个样本点都成为高斯函数的峰值，对应的泛化能力也很差。因此，应该根据不同问题，针对性地选择合适的核函数形式和及其参数。 谢谢！ * 第二类方法尽管看起来简洁，但是在最优化问题求解过程中的变量远远多于第一类方法，训练速度不及第一类方法，而且在分类精度上也不占优。当训练样本数目非常大时，这一问题更加突出。 此时，相应的决策函数化为： 支持向量机求得的决策函数形式上类似于一个神经网络，其输出是若干中间层节点的线性组合，而每一个中间层节点对应于输入样本与一个支持向量的内积，因此也被称作是支持向量网络。 支持向量机示意图 选择不同的核函数 可以生成不同的支持向量机，常有以下几种： （1）线性核函数： （2）多项式核函数： （3）Gauss核函数： （4）Sigmoid核函数： 一个具体核函数的例子 假设数据是位于 中的向量，选择： 然后寻找满足下述条件的空间H：使映射 从 映射到H且满足： 可以选择H=R3以及： 用图来表示该变换： SVM用于二维样本分类 支持向量机与多层前向网络的比较 与径向基函数网络和多层感知器相比，支持向量机避免了在前者的设计中经常使用的启发式结构，它不依赖于设计者的经验知识；而且支持向量机的理论基础决定了它最终求得的是全局最优值而不是局部极小值，也保证了它对于未知样本的良好泛化能力而不会出现过学习现象。 支持向量机的分类学习算法 对于分类问题，用支持向量机方法进行求解的学习算法过程为： 第一步 给定一组输入样本 ， 及其对应的期望输出 ； 第二步 选择合适的核函数 及相关参数； 第三步 在约束条件 和 下求解 得到最优权值 ； 第四步 计算： ； 第五步 对于待分类向量x ，计算： 为＋1或－1，决定x属于哪一类。 用于函数拟合的支持向量机 假定数据集 。首先考虑用线性回归函数 拟合数据集X的问题。 所有训练数据在精度 下无误差地用线性函数拟合，即： 考虑到允许拟合误差存在的情况： 优化目标函数为： 对偶问题为：在约束条件 下求下式的