支持向量机算法的详细推导.pptVIP

8.3 支持向量机的学习算法 在能够选择变换φ (取决于设计者在这方面的知识)的情况下，用支持向量机进行求解的学习算法如下： (1)通过非线性变换φ将输入向量映射到高维特征空间; (2)在约束条件 下求解使目标函数 最大化的αop。 (3)计算最优权值 (4)对于待分类模式X，计算分类判别函数 根据f(x)为1或一1，决定X的类别归属。 若能选择一个内积核函数K(XP, X) ，可避免进行变换，此时用支持向量机进行求解的学习算法如下： (1)准备一组训练样本{(X1，d1)，(X2，d2)，…，(Xp，dp)，…(XP，dP)} (2)在约束条件 下求解使目标函数 最大化 的αop。 ，其中 K(XP, Xj) ，p,j=1,2,…,P可以看作是P×P对称矩阵K的第pj项元素； (3)计算最优权值 Y为隐层输出向量； (4)对于待分类模式X，计算分类判别函数 根据f(x)为1或-l，决定X的类别归属。 上面讨论的支持向量机只能解决二分类问题，目前没有一个统一的方法将其推广到多分类的情况。 支持向量机被用于径向基函数网络和多层感知器的设计中。 在径向基函数类型的支持向量机中，径向基函数的数量和它们的中心分别由支持向量数和支持向量的值决定，而传统RBF网络则依赖于经验知识。 在单隐层感知器类型的支持向量机中，隐节点的个数和它们的权值向量分别由支持向量的个数和支持向量的值决定。 与RBF和多层感知器相比，SVM的算法（1）不依赖于设计者的经验知识;（2）能求全局最优值;（3）有良好的泛化能力而不会出现过学习。SVM算法复杂导致训练速度较慢，其中的主要原因是在算法寻优过程中涉及大量矩阵运算。目前提出的一些改进训练算法是基于循环迭代的思想，3类改进算法。 (1)Vapnik等提出的块算法 (2)Qsuna等提出的分解算法 (3)Platt的SMO算法（应用最广！） 8.4 支持向量机设计应用实例 8.4.1 XOR问题 用SVM处理XOR问题。4个输入样本和期望输出如图8.3(a)所示。 方法一：选择映射函数Φ(x)将输入样本映射到高维的空间，使其在该空间是线性可分的。如Φ(x)＝ 可将二维训练样本映射到一个六维特征空间。这个六 x1 x2 d -1 -1 -1 -1 1 1 1 -1 1 1 1 -1 维空间在平面上的投影如图8.3(b)所示。可以看出分离边缘为ρ= ，通过支持向量的超平面在正负两侧平行于最优超平面，其方程为 ，对应于原始空间的双曲线x1x2=±1。 寻求使： 最大化的Lagrange系数，约束条件为 从该问题的对称性，可取 求导并令导数为零，得到下列联立方程组 解得Lagrange系数的最优值为αop=1/8，p=1，2，3，4，可见4个样本都是支持向量，Q(α)的最优值为1／4。根据式(8.39)可写出 在六维特征空间中找到的最优超平面为 图8.3中将最优超平面x1x2=0投影到二维空间后成为与 轴平行的直线。 方法二：选择核函数为 将x=(x1,x2)T和XP=(x1p，x2p)’代入上式，核函数可应用不同次数的单项式表示 将各输入样本代入上式，可计算出4×4对称K矩阵中各元素的值为 代入式(8.41,目标函数)，接下来的计算过程及得到的Lagrange系数的最优值为与方法一相同。 由于4个样本都是支持向量，隐层为4个节点，各隐节点输出为yj=K(X，Xj)，j=1，2，3，4。代入式(8.42) 根据式(8.35)，最优超平面为 该方法使用内积核函数在4为空间建立最优超平面，无需用显式的形式考虑特征空间自身。 手写体阿拉伯数字的识别 人工神经网络及应用 主讲 何东健 第八章 支持向量机 BP网络及RBF网络解决了模式分类与非线性映射问题。Vapnik提出的支持向世机(Support Vector Machine，SVM)，同样可以解决模式分类与非线性映射问题。 从线性可分模式分类角度看，SVM的主要思想是：建立一个最优决策超平面，使得该平面两侧距平面最近的两类样本之间的距离最大化，从而对分类问题提供良好的泛化能力。根据cover定理：将复杂的模式分类问题非线性地投射到高维特征空间可能是线性可分的，因此只要特征空间的维数足够高，则原始模式空间能变换为一个新的高维特征空间，使得在特征空间中模式以较高的概率为线性可分的。此时，应用支持向量机算法在特征空间建立分类超平面，即可