支持向量机训练算法综述姬水旺.pdfVIP

第 14 卷 　第 1 期 微 　机 　发 　展 Vol . 14 　No . 1 　　　　　　　　　　　　　 　　　　　　　　　　　　　　 2004 年 1 月 Microcomputer Develop ment J an . 2004 支持向量机训练算法综述 姬水旺 ,姬旺田 ( 陕西移动通信有限责任公司 ,陕西 西安 7 10082) 摘 　要 :训练 SVM 的本质是解决二次规划问题 ,在实际应用中,如果用于训练的样本数很大 ,标准的二次型优化技术就很 难应用 。针对这个问题 ,研究人员提出了各种解决方案 ,这些方案的核心思想是先将整个优化问题分解为多个同样性质的 子问题 ,通过循环解决子问题来求得初始问题的解 。由于这些方法都需要不断地循环迭代来解决每个子问题 ,所以需要的 训练时间很长 ,这也是阻碍 SVM 广泛应用的一个重要原因。文章系统回顾了 SVM 训练的三种主流算法 :块算法 、分解算 法和顺序最小优化算法 ,并且指出了未来发展方向。 关键词 :统计学习理论 ;支持向量机 ;训练算法 ( ) 中图分类号 : TP30 16 　　　　　　　文献标识码 :A 　　　　　　文章编号 : 1005 - 375 1 2004 0 1 - 00 18 - 03 A Tutorial Survey of Support Vector Machine Training Al gorithms J I Shuiwang ,J I Wangtian ( Shaanxi Mobile Communication Co . , Lt d , Xi ’an 7 10082 ,China) Abstract :Training SVM can be formulated into a quadratic p rogramming p roblem . For large learning tasks wit h many t raining examples , off - t he - shelf optimization techniques quickly become int ractable in t heir memory and time requirement s. Thus , many efficient tech niques have been developed . These techniques divide t he original p roblem into several smaller sub - p roblems. By solving t hese sub - p rob lems iteratively , t he original larger p roblem is solved . All p roposed met hods suffer from t he bottleneck of long t raining time . This severely limited t he