SVM+QP问题分解算法研究进展.pdfVIP

第16巷第l期 慎式识别与人工智能 Ⅵ)I16NoI 2003年3，{ PR＆AI March2003 SVM QP问题分解算法的研究进展 邱熔胜 董云杰 甘肃工业大学电气工程与信息1程学院兰州 730050) 摘要本文首先简单，t绍了直持向量机的摹小原理．然后简单分析了SVMQPfnJ题的特点，详细介绍了解SVM QP问题的一系列分解算法，并时分解算法更进一步的研究方向作了探讨 关键词 主持lq量机，SVMQ】’问题，分解算法 中图法分类号TPl81 A 引 言 是解统计模式识别等统计机器学习问题的基本思 想．在此思想的指导下，人们主要解决如何更好地求 取最小经验风险．但实践证明，一味追求洲练误差最 近儿年来，在VladimirN．Vapnik的统汁学习理 小(刘应经验风险最小)并不能得到最好泛化能力， 论(Statistical LearningTheory，SLq、)“基础上发展 有些情况下，训练误差太小反而会导致泛化能力下 Vector Machines， 起来的支持向量机u2。o(Support 降，这在神经网络中表现得尤为突出(即过学习M SVM)正成为机器学习领域中新的研究热点．求解 题)．导致出现陔问题的一个根本原因就足传统统计 一个svM可转化为优化一个QP问题(Quadratic 学是一种渐进理论，它的许多结论都是在样本数目 Problcm)虽然QP问题在数学f．早已 Programming 趋向于无穷大的条件下得出的，而在小样本条件下， 解决，但由于SVMQP问题的特殊性，探寻关于 以传统渐进统计学为理沦基础的经验风险最小化原 SVM QP问题合理且高效的算法便成为SVM领域 则并不能很好地实现由贝叶斯决策理沦导出的期单 的一个莆要研究课题．目前，分解箅法足优化SVM 风险最小化原则为了解决传统渐进统计学府用在 0P问题的主流箅法，其研究也取得了长足的发展． N 小样本统计学习中的不足，Vladimir Vapnik等人 本文对SVMQI，问题分解算法的研究进展作r简 建立了统计学习理论统计学习理论指出，在小样本 单的总结，并对SVM木身及SVM QP问题更进一 条件下，只有问时控制经验风险和学习机的容量(用 步的研究方向作了探讨