基于驱动错误准则SVM增量学习探究.doc

基于驱动错误准则SVM增量学习探究摘要：增量学习广泛运用于人工智能、模式识别等诸多领域，是解决系统在训练初期样本量少而随时间推移性能降低的有效方法。本文针对经典支持向量机当训练样本数量多而运算速度较慢的缺点，在分析支持向量机的基础上，提出基于驱动错误准则的增量学习方法，实验结果表明，该算法不仅能保证学习机器的精度和良好的推广能力，而且算法的学习速度比经典的SVM算法快，可以进行增量学习。  关键词：机器学习；驱动错误准则；SVM；增量学习 中图分类号：TP391 文献标识码：A  Research of Incremental Learning Algorithm Based on Drive Error Criterion  WEN Bo， SHAN Ganlin， DUAN Xiusheng （Dept. of Optical and Electronic Engineering， Ordnance Engineering College Shijiazhuang Hebei050003， China） Abstract：Incremental learning is widely used in artificial intelligence， pattern recognition and other fields. It is an effective method to solve the problem that the efficiency of the system declines in the process of studying training samples which is of a small number in the beginning. For the disadvantage of the classical support vector machine getting slower when the number of training samples gets larger， this thesis proposes an incremental learning algorithm based on Drive error criterion. The experimental results show that this algorithm not only guarantees the precision and good generalization ability of the learning machine， but also faster than the classic SVM algorithm. Therefore， it can be used in incremental learning.  Key words：machine learning； drive error criterion； SVM； incremental learning  1引言 支持向量机（SVM）[1]是Vapnik等人在统计学习理论的基础上提出的一种普适学习机模型，具有强大的非线性处理能力和良好的推广能力，广泛应用于人工智能、模式识别等诸多领域，目前，SVM越来越受到广泛的重视，形成了国际上的研究热潮[2—3]。机器学习作为人工智能领域的基本问题，许多学习系统在学习初期所能获得的样本量较少，随着时间的推移与样本的不断累积，系统的工作效率降低，这时系统需纳入新增样本进行增量学习提升系统的性能，标准的支持向量机没有增量学习的能力，但其定义的支持向量具有良好的增量学习效果。因此研究有效的支持向量机增量学习方法具有重要的意义[1]。 Syed[4]对样本集的支持向量进行了分析，提出了一种简单支持向量机增量学习算法。在该算法中，增量训练由SV样本组成，再训练只需要进行一次即可完成，所有的非SV样本点都抛弃。这样减少了计算复杂度，但是忽略了历史样本集的非SV最终可能成为支持向量的问题。赵耀红[5]等人提出将违背Karush.Kuhn.Tucker（KKT）条件的样本和SV集一起训练的新算法，更能体现样本的分布状态对学习结果的影响。该算法分别对样本和新增样本训练得到分类器T1、T2和支持向量集SV1、SV2，在历史样本中找到违背T2的KKT条件的样本，加入到SV1、SV2一起训练得到最终分类器。该算法虽然比Syed的分类精度提高了2个百分点左右，但训练时间没有明显减少，需要占用大量内存空间，文献[6—8]中也分别介绍了几种SVM增量学习算法，文献[9]对SVM增量学习的研究进行