支持向量机SVM原理及应用概述.docxVIP

东北大学 研究生考试试卷 评分 考试科目：信号处理的统计分析方法 课程编号：阅卷人： 刘晓志 考试日期：2012年11月07日 姓 名：赵亚楠 学 号： 1001236 注意事项 TOC \o 1-5 \h \z 考前研究生将上述项目填写清楚 . 字迹要清楚，保持卷面清洁? 交卷时请将本试卷和题签一起上交 . 课程考试后二周内授课教师完成评卷工作 ，公共课成绩单与试卷交研究生院培养办公室 专业课成绩单与试卷交各学院 ，各学院把成绩单交研究生院培养办公室 . 东北大学研究生院培养办公室 支持向量机（ SVM ）原理及应用 目录 一、 SVM 的产生与发展 3 二、支持向量机相关理论 4 （一）统计学习理论基础 4 （二） SVM 原理 4 1．最优分类面和广义最优分类面 5 2．SVM 的非线性映射 7 3．核函数 8 三、支持向量机的应用研究现状 9 （一）人脸检测、验证和识别 9 （二）说话人／语音识别 10 （三） 文字／手写体识别 10 （四） 图像处理 11 （五） 其他应用研究 11 四、结论和讨论 12 支持向量机( SVM )原理及应用 一、 SVM 的产生与发展 自1995年 Vap nik在统计学习理论的基础上提出SVM作为模式识别的新方法之后，SVMH直 倍受关注。同年，Vapnik和Cortes提出软间隔(soft margin)SVM，通过引进松弛变量 j度量 数据人的误分类(分类出现错误时i大于0)，同时在目标函数中增加一个分量用来惩罚非零松 弛变量(即代价函数)，SV啲寻优过程即是大的分隔间距和小的误差补偿之间的平衡过程； 1996年, Vapnik等人又提出支持向量回归 (Support Vector Regression，SVR的方法用于解 决拟合问题。SVR同 SV啲出发点都是寻找最优超平面，但SVR勺目的不是找到两种数据的分割 平面，而是找到能准确预测数据分布的平面，两者最终都转换为最优化问题的求解； 1998年， Weston等人根据SVMM理提出了用于解决多类分类的SVM方法(Multi-Class Support VectorMachines，Multi-SVM)，通过将多类分类转化成二类分类，将 SVM应用于多分类问题的 判断：此外，在SVMJ法的基本框架下，研究者针对不同的方面提出了很多相关的改进算法。 例如，Suykens提出的最小二乘支持向量机 (Least Square Support VectorMachine，LS— SVM) 算法，Joachims等人提出的SVM-1ight，张学工提出的中心支持向量机 (Central Support Vector Machine，CSVM，Scholkoph和Smola基于二次规划提出的v-SVM等。此后，台湾大学 林智仁(Lin Chih-Jen)教授等对SV啲典型应用进行总结，并设计开发出较为完善的 SVM工具 包，也就是 LIBSVM(A Library for Support Vector Mach in es) 。上述改进模型中，v-SVM是 一种软间隔分类器模型，其原理是通过引进参数v,来调整支持向量数占输入数据比例的下限， 以及参数 来度量超平面偏差，代替通常依靠经验选取的软间隔分类惩罚参数，改善分类效 果；LS-SVMU是用等式约束代替传统SVM中的不等式约束，将求解QP可题变成解一组等式方程 来提高算法效率；LIBSVM1 一个通用的SV软件包，可以解决分类、回归以及分布估计等问题， 它提供常用的几种核函数可由用户选择， 并且具有不平衡样本加权和多类分类等功能， 此外， 交叉验证(cross validation) 方法也是LIBSVM寸核函数参数选取问题所做的一个突出贡献； SVM-1ight的特点则是通过引进缩水(shrinking)逐步简化QP可题，以及缓存(caching)技术降 低迭代运算的计算代价来解决大规模样本条件下 SV惮习的复杂性问题。 二、支持向量机相关理论 (一)统计学习理论基础 与传统统计学理论相比，统计学习理论 (Statistical learn ing theory 或SLT)是一种专 门研究小样本条件下机器学习规律的理论。该理论是针对小样本统计问题建立起的一套新型 理论体系，在该体系下的统计推理规则不仅考虑了对渐近性能的要求，而且追求在有限信息 条件下得到最优结果。 Vapnik 等人从上世纪六、七十年代开始致力于该领域研究，直到九十 年代中期，有限样本条件下的机器学习理论才逐渐成熟起来，形成了比较完善的理论体系— —统计学习理论。 统计学习理论的主要核心内容包括： (1) 经验风险最小化准则下统计学习一致性条件； (2) 这些条件下关于统计学习方法推广性的