模式识别-第九章-支持向量机52202661.pptVIP

§9.2 支持向量机（SVM）（边书P296-304） 支持向量机：Support Vector Machine, SVM 简单回顾 §3.3 用广义线性识别函数作分类识别（边书P85） 建立输入向量X∈Rn 的一个函数族{φi(X)},i=1,2,…,N 把输入向量X映射到一个高维特征空间 在该高维空间设计线性分类器（求分类超平面） 广义线性识别函数举例（边书P86） 高次多项式（2个特征值、2次多项式） 广义线性识别函数具体例子 广义线性识别函数具体例子（续1） 广义线性识别函数具体例子（续2） 广义线性识别函数作分类识别存在的问题 维数灾难 训练样本数量不足（样本数与空间维数的比值） 训练样本过多时的过训练问题 →推广能力差，“经验风险”与“期望风险”不一致 计算复杂性增加快 高维空间处理困难 如何选择函数族，不同函数族结果不同 →实际上使用很困难（在支持向量机SVM之前） 线性识别函数、扩展特征向量、扩展权向量（边书P84-87） 线性识别函数 线性识别函数示意图 识别函数的几何示意图（边书P84） 识别函数的几何示意图（续） 扩展特征向量和“解区”（边书P92） 扩展特征向量、权空间、“余量” （边书P93） 研究支持向量机的基本思路（边书P296～） 数据预处理：用合适的非线性映射φ(·)把样本映射到比原来特征空间的维数高得多的映射空间 两类问题的线性可分：如果两类样本可分（特征空间中无任何一点同时属于两个不同类），则一定存在向着高维空间的非线性映射而使样本线性可分 转化成两个基本问题 如何在高维空间寻找最优线性界面 （注：不降维而升维，不仅要找到而且要“最优”） 如何寻找合适的非线性映射函数φ(·) 高维空间的最优线性界面图示 避开样本可能稀疏造成统计上的困难 两类边界附近的样本：“最麻烦”、也“最重要” →设计识别函数，尽量利用边界样本的分类信息 高维空间的最优线性界面图示（续1） 高维空间的最优线性界面图示（续2） 最优线性界面的计算 最优线性界面的计算 最优线性界面的计算（续1） 最优线性界面的计算（续2） 广义最优线性界面 训练样本集中有若干样本线性不可分，可增添松驰项ξi≥0 广义最优线性界面（续） 支持向量机 支持向量机示意图 支持向量机“推广性”与变换空间维数无关 若一组训练样本能被一个（广义）最优识别界面分开，则对测试样本识别错误率期望值的上界为训练样本中平均的支持向量占总训练样本数的比例，即 可用的内积核函数K(Xi,X) 存在问题举例 *Xinggang Lin, Tsinghua University 第九章 支持向量机 2010/3 Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile 5.2.0.0. Copyright 2004-2011 Aspose Pty Ltd. 广义线性识别函数 取X的适当的函数族 使原来的非线性函数，具有线性的表达式，例如 设 取 构成一个对于Z的N 维空间 称作广义线性识别函数 Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile 5.2.0.0. Copyright 2004-2011 Aspose Pty Ltd. 线性识别函数不存在 把2维空间 变为3维空间 Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile 5.2.0.0. Copyright 2004-2011 Aspose Pty Ltd. 作平面 分开 Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile 5.2.0.0. Copyright 2004-2011 Aspose Pty Ltd. 3维空间中平面 改写成2维形式 用 来使维数上升，对应于原来空间中的高次曲线（面） 常采用各种正交函数族 双曲线 Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile 5.2.0.0. Copyright 2004-2011 Aspose Pty Ltd. Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile 5.2.0.0.