支持向量机(SVM)简介.ppt

支持向量机(SVM)简介 付岩 2007年6月12日 提纲 统计学习理论基本思想 标准形式的分类SVM 核函数技术 SVM快速实现算法 SVM的一些扩展形式 学习问题 产生器（G），随机产生向量 ，它带有一定但未知的概率分布函数F(x) 训练器（S）,条件概率分布函数F(y|x) ，期望响应y和输入向量x关系为y=f(x,v) 学习机器（LM）,输入-输出映射函数集y=f(x,w)，w W，W是参数集合。 学习问题 学习问题就是从给定的函数集f(x,w),w W中选择出能够最好的逼近训练器响应的函数。而这种选择是基于训练集的，训练集由根据联合分布F(x,y)=F(x)F(y|x)抽取的n个独立同分布样本 (xi,yi)， i=1,2,…,n 组成 。 学习问题的表示 学习的目的就是，在联合概率分布函数F(x,y)未知、所有可用的信息都包含在训练集中的情况下，寻找函数f(x,w0)，使它（在函数类f(x,w)，(w W）上最小化风险泛函 模式别别问题 经验风险最小化原则(ERM ) 最小化经验风险(训练样本错误率 ) ： ERM的缺点 用ERM准则代替期望风险最小化并没有经过充分的理论论证，只是直观上合理的想当然做法 这种思想却在多年的机器学习方法研究中占据了主要地位。人们多年来将大部分注意力集中到如何更好地最小化经验风险上。 而实际上，即使可以假定当n趋向于无穷大时经验风险也不一定趋近于期望风险，在很多问题中的样本数目也离无穷大相去甚远 。 如神经网络 统计学习理论 用经验风险最小化原则解决期望风险最小化问题的前提是什么？ 当这些前提不成立时经验风险最小化方法的性能如何？ 是否可以找到更合理的原则？ Vapnik-Chervonenkis(VC)维 VC维是对由学习机器能够实现的分类函数族的容量或表达力的测度。 分类函数集={ f(x,w):w∈W}的VC维是能被机器对于分类函数的所有可能二分标志无错学习的训练样本的最大数量 描述了学习机器的复杂性 VC维的估计是有待有待研究的问题 学习机器实际风险的界 学习机器实际风险的界 其中n样本数量，h是VC维，Φ是递减函数 两种方法： 神经网络: 保持置信范围固定（通过选择一个适当构造的机器）并最小化经验风险。 支持向量机(SVM): 保持经验风险固定（比如等于零）并最小化置信范围。 结构风险最小化原则 函数集Fk={F(x,w);w∈Wk}, k=1,2,…,n F1 F2 … Fn VC维：h1≤h2≤…≤hn 在使保证风险（风险的上界）最小的子集中选择使经验风险最小的函数 结构风险最小化原则 提纲 统计学习理论基本思想 标准形式的分类SVM 核函数技术 SVM快速实现算法 SVM的一些扩展形式 最大间隔分类器 不但能将两类正确分开，而且使分类间隔最大。 h≤min(［R2A2］,N)+1 最大间隔分类器 最优化问题 分类函数 样本线性不可分情况 情况1：样本本质上是非线性可分的 解决方法：核函数（后面介绍） 情况2：本质上线性，非线性由噪音导致 强制使用非线性函数，会导致过拟合 解决方法：软间隔 软间隔 通过引入错误分类样本，以增大间隔距离 软间隔 最优化问题 软间隔 拉格朗日对偶问题 注意， 以及 都没有在上述优化问题中出现 只涉及样本的点积运算 非线性SVM 样本非线性可分 映射到高维空间，使样本线性可分 非线性SVM 问题：维数灾难 解决方法：核函数 非线性SVM 核函数技术 特征空间与核函数 核函数构造 特征空间与核函数 乘积特征 模式： 大部分信息包含在d-阶乘积中： ， 提取所有乘积特征，把输入模式映射到所有d-阶乘积的特征空间F中，在这个空间中构造算法。 特征空间与核函数 二维 N维 16x16的图像，d=5，则NF：1010 如何处理这么高的维数？ 特征空间与核函数 核函数导出的多项式特征空间 如何在输入空间中计算特征空间中的点积？ 二维 特征空间与核函数 命题1.1： 映射Cd把 映射到向量Cd(x)， Cd(x)的项是x的项的所有有序d阶乘积。则有： 直到d阶的所有乘积项： 特征空间与核函数 核函数的定义 核是一个函数k，对所有 , 成立。其中 是从输入空间X到特征空间F(Hilbert空间)的映射。 特征空间与核函数 Mercer定理：要保证L2(C)下的对称函数