LSSVM概述.ppt

支持向量机（SVM)与最小二乘支持向量机（LSSVM) 1 SVM概述 2 LSSVM概述 3 SVM与示意图 4 SVM相关名词解释 5 LSSVM估计算法 1 SVM概述 支持向量机(Support Vector Machine)是 Cortes 和 Vapnik 亍1995 首先提出的，它在解决小样本、非线性及高维模式识 别中表现出许多特有的优势，能够推广应用到函数拟合等 其 他机器学习问题中。 支持向量机方法是建立在统计学习理论的 VC 维理论和 结构风险最小原理基础上的，根据有限的样本信息在模型的 复杂性（即对特定训练样本的学习精度，Accuracy）和学习 能力（即无错误地识别仸意样本的能力）之间寻求最佳折 衷，以期获得最好的推广能力（戒称泛化能力）。并用交叉 验证的方法进行支持向量机参数选择。 3 SVM和示意图 最优分类函数为： 这就是支持向量机。 概括地说，支持向量机就是 通过用内积函数定义的非线性变 换将输入空间变换到一个高维空 间，在这个空间中求最优分类面。 SVM分类函数形式上类似于一个神经网络，输出是中间节点的线性组合， 每个中间节点对应一个输入样本于一个支持向量机的内积，因此也就叫做支持 向量网络。 4 相关名词解释 VC 维理论： 为了研究经验风险最小化函数集的学习一致收敛速度和推广性，SLT 定义了一些指标来衡量函数集的性能，其中最重要的就是VC维(Vapnik- Chervonenkis Dimension)。对于一个指示函数（即只有0和1两种取值的函 数）集，如果存在h个样本能够被函数集里的函数按照所有可能的2h种形 式分开，则称函数集能够把h个样本打散，函数集的VC维就是能够打散的 最大样本数目。 所谓 VC 维是对函数类的一种度量，可以简单的理解为问题的复杂程 度，VC 维越高，一个问题就越复杂。正是因为 SVM 关注的是 VC维，后 面我们可以看到，SVM 解决问题的时候，呾样本的维数是无关的（甚至 样本是上万维的都可以，这使得 SVM 径适合用来解决文本分类的问题， 当然，有这样的能力也因为引入了核函数）。 核函数: 根据泛函的有关理论，只要一种核函数K（xi,xj）满足Mercer条件，它 对应某一变换空间中的内积。因此，在最优分类面中采用适当的内积函数 K（xi,xj）就可以实现某一非线性变换后的线性分类，而计算复杂度却没有 增加。 其中，K是核函数，其种类主要有： SVM方法的特点 ①?非线性映射是SVM方法的理论基础,SVM利用内 积核函数代替向高维空间的非线性映射; ②?对特征空间划分的最优超平面是SVM的目标,最 大化分类边界的思想是SVM方法的核心; ③?支持向量是SVM的训练结果,在SVM分类决策中 起决定作用的是支持向量。 ? SVM 是一种有坚实理论基础的新颖的小样本学习 方法。它基本上不涉及概率测度及大数定律等,因此不 同于现有的统计方法。从本质上看,它避开了从归纳到 演绎的传统过程,实现了高效的从训练样本到预报样本 的“转导推理”(transductive inference) ,大大简化了通常 的分类和回归等问题。 5 最小二乘支持向量机（LSSVM)估计算法 支持向量机主要是基于如下思想：通过事先 选择的非线性映射将输入向量映射到高维特征 空间， 在这个空间中构造最优决策函数。在构 造最优决策函数时，利用了结构风险最小化原 则。 并巧妙的利用原空间的核函数取代了高维 特征空间中的点积运算。 * * * * 2 LSSVM概述 Suykens J.A.K提出一种新型支持向量机方法—最小二乘支持 向量机（Least Squares Support Vector Machines，简称LS-SVM）用 于解决模式分类和函数估计问题等。 最小二乘支持向量机方法是采用最小二乘线性系统作为损 失函数，代替传统的支持向量机采用的二次规划方法。 LS-SVM方法简化了计算的复杂性。另外，由于LS-SVM采用 了最小二乘法，因此运算速度明显快于支持向量机的其它版 本。 线性核函数： 多项式核函数： 径向基（RBF)核函数： 两层感知器核函数： 例子：意大利葡萄酒种类识别 ) ( ) ( )) ( ),..., ( ), ( ( ) x ( x) ( ) , ( ),