支持向量机理论与基于规划神经网络学习算法_张铃.pdfVIP

第 24 卷　第 2 期 计　　算　　机　　学　　报 V o l. 24 N o. 2 200 1 年 2 月 CH IN E SE J COM PU T ER S F eb. 200 1 支持向量机理论与基于规划的神经网络学习算法 张　铃 (安徽大学人工智能研究所智能计算与信号处理重点实验室　合肥 230039) 摘　要　近年来支持向量机(SVM ) 理论得到国外学者高度的重视, 普遍认为这是神经网络学习的新研究方向, 近 来也开始得到国内学者的注意. 该文将研究 SVM 理论与神经网络的规划算法的关系, 首先指出, V ap n ik 的基于 SVM 的算法与该文作者 1994 年提出的神经网络的基于规划的算法是等价的, 即在样本集是线性可分的情况下, 二者求到的均是最大边缘( ) ( ) m ax im a l m arg in 解. 不同的是, 前者 通常用拉格郎日乘子法 求解的复杂性将随规模呈 指数增长, 而后者的复杂性是规模的多项式函数. 其次, 作者将规划算法化为求一点到某一凸集上的投影, 利用这 个几何的直观, 给出一个构造性的迭代求解算法——“单纯形迭代算法”. 新算法有很强的几何直观性, 这个直观 ( ) 性将加深对神经网络 线性可分情况下 学习的理解, 并由此导出一个样本集是线性可分的充分必要条件. 另外, 新算法对知识扩充问题, 给出一个非常方便的增量学习算法. 最后指出, “将一些必须满足的条件, 化成问题的约 束条件, 将网络的某一性能, 作为 目标函数, 将网络的学习问题化为某种规划问题来求解”的原则, 将是研究神经 网络学习问题的一个十分有效的办法. 关键词　支持向量机, 规划, 神经网络, 学习算法 中图法分类号: T P 18 The Theory of SVM an d Programm in g Ba sed L earn in g A lgor ithm s in Neura l Networks ZHAN G L in g (K ey L abora tory of I n tellig en t Comp u ting S ig na l P rocess ing , I ns titu te of A r tfi icia l I n tellig ence, A nhu i U n iv ers ity , H ef ei 230039) A bstract　 R ecen t ly