一种新的机器学习算法：Support_Vector_Machines.pdfVIP

维普资讯 第 13卷 第 3期 模式识别与^工智能 Vol13 No3 2000年 9月 PR ＆ AI Sept 2000 一 种新的机器学习算法：SupportVectorMachines 逸—盟 (中国科学院台肥智能机械研究所 合肥 230031) 卧 脯 枰 创 ∞。 趣 I0 姚 穗 v IrI (安徽省科学 而_台肥 230[】0】【) ’ 范劲松 方廷健 (中国科学院台肥智能机械研究所 台肥 230031) 摘 要 SVM是由Vapnik及其领导的ATTBell实验室研究小组提 出的一种新的非常有发展前景的机器学习 算法 本文通过它与神经网络学习算法的比较，说明了SVM具有较强的理论依据和较好的泛化性能 本文是SVM 的发展综述 重点介绍了SVM的理论依据和一些值得研究的问题 关键词 i! ，SVM， !，、三．!蝥t经验风险，期望风险 SI／ 辑征 中图法分类号 TP18 VC理论可以改善各种各样的神经阿络学习算法． 1 引 言 更为重要的是基于VC理论的创造性机器学习 方法 SVM(SupportVectorMachine)的出现 ．SVM 机器学习是继专家系统之后人工智能应用的又 是由Vapnik领导的AT＆TBe11实验室研究小组提 一 重要研究领域，也是人工智能和神经计算核心研 出的一种新的非常有潜力的分类技术，它开辟了学 究课题之一…，对学习算法的突破可极大推进整个 习高维数据新的天地，这种新的学习算法可 以替代 神经网络领域以至于人工智能的发展．大部分机器 多层感知机、RBF神经网络和多项式神经网络 已有 学习算法的研究都涉及到对数据的预测性学习，目 的学习算法，它也是一种可实现一些表示 问题的建 的是从已知数据中估计相关性 以能够较好地预测将 设性方法，在多层感知机、RBF神经网络和小波神经 来．近些年来，基于神经网络、柔性统计和统计力学 网络中有成功运用，同时 SVM方法实际中有一些应 的学习算法都取得了一定的进展，各 自提出了一些 用(如人面检测、KDD和信号处理)也说明了VC理 新的概念和方法，表面上看这些概念和方法有一定 论的理论和实用价值． 的联系，但实际上它们之间还存在很多差异，人们迫 1995年，文献[2]和文献 [3]的出现是 SVM诞 切需要关于预测学习算法较完整的理论体系． 生的标志，目前国外学者 已取得了一些成果，作者的 最近 出现的VC理论 (Vapnik Chervonenkis) 很多资料都从 Internet阿络获得，IEEETransactions 将学习问题 的相关概念和原理进行 了很好 的结 onNeuralNetworks也 已经 出版了关于 VC维理论 合 ’，它比基于直觉和生物理论等经验性机器学习 和 SVM方面的专辑(见 Vo1．10(5)，1999)但 目前 方法更有说服力，VC理论被认为是从有限数据中预 在国内，SVM 的研究似乎 尚未起步．我们曾对神经 测相关性的统一数学框架．尽管 VC理论作为数学 网络理论进行了较深入的研究 ，在本文中作者 理论 已出现了25年，但人们还没有充分体会和完全