基于支持向量机增量学习算法.docVIP

基于支持向量机增量学习算法 　　摘要：分析了支持向量的性质和增量学习过程，提出了一种新的增量学习算法，舍弃了对最终分类无用的样本，在保证测试精度的同时减少了训练时间。最后的数值实验和应用实例说明该算法是可行、有效的。?? 　　关键词： 结构风险最小化; 支持向量; 增量学习 　　中图分类号：TP301．6文献标志码：A 　　文章编号：1001－3695(2007)08－0048－02 　　 　　支持向量机（support vector machine,SVM）由Vapnik及其合作者发明，在1992年计算学习理论会议上进入机器学习领域之后，便受到了广泛关注。它建立在结构风险最小化原则基础之上，具有很强的学习能力和泛化性能，能够较好地解决小样本、高维数、非线性、局部极小等问题，可以有效地进行分类、回归、密度估计等。由于这些优点，其得到了全面深入的发展，现已成为机器学习和数据挖掘领域的标准工具。?? 　　增量学习技术（incremental learning technique）是一种得到广泛应用的智能化数据挖掘与知识发现技术。其思想是当样本逐步积累时，学习精度也要随之提高。与传统学习技术相比，增量学习技术可以充分利用历史学习的结果，显著节省后继训练时间。一种机器学习方法是否具有良好的增量学习功能已经成为评价其性能优劣的重要标准之一。经典的支持向量机理论与增量式学习并不具备直接的相容性。但是支持向量机训练所得的支持向量能够完全反映分类超平面的信息，而支持向量通常只占训练样本很小一部份，这对支持向量机增量学习算法的构建具有重要意义。?? 　　 　　1支持向量机基本理论?? 　　 　　支持向量机的理论最初来自对数据分类问题的处理。对于数据分类问题，如果采用通用的神经网络方法来实现，其机理可以简单地描述为：系统随机产生一个超平面并移动它，直到训练集中属于不同分类的点正好位于平面的不同侧面。这种处理机制决定了用神经网络方法进行数据分类，最终获得的分割平面将相当靠近训练集中的点，而在绝大多数情况下，这并不是一个最优解。为此，SVM考虑寻找一个满足分类要求的分割平面，并使训练集中的点距离该分割平面尽可能地远，即寻找一个分割平面，使其两侧的空白区域最大。?? 　　 　　如果分类问题是非线性的，则采用一种称为核函数（kernel function）的方法，使输入空间映射到高维核函数特征空间，将非线性问题转换为该空间中的线性分类问题。根据泛函理论，特征空间中对偶问题和得到的决策函数中的点积可以由输入空间中的核函数来替换。 此时，决策函数为?? 　　 　　2增量学习算法?? 　　 　　当核函数类型及其参数确定后，支持向量集可以完全描述整个样本集的分类特征，支持向量集和训练样本集之间的等价关系可以得到证明。但是随着新样本集的引入，打破了支持向量集和初始训练样本集的等价关系，使得原有的支持向量集已不能充分刻画新训练集的分类特征。?? 　　 　　定理2表明，KKT条件比分类函数的分类判断更合理，分类错误是样本违反KKT条件的特定情况。只有违背KKT条件的样本，才会影响增量学习后的支持向量集。因此，新增样本可以分为违背KKT条件的样本和满足KKT条件的样本两部分。后者由于包含的信息已经被原来分类器所反映，可以不被学习。?? 　　 　　3新的SVM增量学习算法?? 　　 　　 　　4实验结果及分析?? 　　 　　在上面研究的基础上，本文对包含3 483个手工标定的文档样本，使用新的SVM增量学习算法进行电子文本的自动分类实验。实验中分别选取样本空间中527个文档作为测试样本集，763个文档作为初始训练样本集，并将剩余的文档随机分为五组，构成五个增量训练样本集。 　　 　　从上面实验可以看出，与传统的SVM增量学习算法相比，新的SVM增量学习算法在不降低训练精度的同时，显著提高了学习速度。?? 　　 　　5结束语?? 　　 　　本文基于支持向量机的特性，研究了支持向量机的增量学习方法，并在此基础上提出了使用ＫＫＴ条件进行增量学习的算法。实验结果表明，这种学习方法在精确度和时间消耗上均优于传统的SVM增量学习算法。 　　本文算法在训练时只涉及全体样本中的一小部分，但是那些没有参加训练的样本仍然需要被存储，占用计算机的内存，其中有一些样本自始至终都没有参加训练。如何彻底放弃这一部分样本，减少训练所占用的空间是今后进一步研究的方向。 ?? 　　 　　参考文献：?? 　　［1］VAPNIK V.The nature of statistical learning theory[M].New York:Springer??Verlag，1995.?? 　　[2］VAPNIK V， LEVIN E，