支持向量机的增量式学习和在线学习方法.docxVIP

支持向量机的增量式学习和在线学习方法 1 增量式和在线式学习算法 支持向量机（svm）是魏伦理等人提出的一种新的机学习方法。由于其出色的学习能力，它在国内外学术界引起了广泛的关注，并在模式识别和函数估算方面取得了越来越多的应用。上述应用程序的示例都是线性的，可以使用线性学习算法来解决。当学生的样本通过时间序列获得或在线搜索而获得时，有必要使用渐进式学习算法或在线学习算法。此外，随着时间的推移，高速学习算法的输出能力可以随着时间的推移而进步。因此，近年来，一些科学家提出了三种基于参考支持向量机的数量或在线学习算法。然而，这些算法基于标准支持向量机，即在线解决了非线性二次规划问题，计算复杂性高。然而，对于在线学习算法的一项重要要求是，在采样时间周期内，为了更新参数，必须完成支持向量机的完整计算。为了降低支持向量机的计算复杂性，suyzer提出了最小二乘支持向量机（lssvm）。为了将支持向量机的学习问题转换为线性方程组问题，因此具有快速运行的速度。在这项工作中，我们使用了最小的平方检测算法和支持向量机的在线学习算法。 2 最小二乘支持向量机 最小二乘支持向量机与标准支持向量机的不同在于它把不等式约束改成等式约束,并把经验风险由偏差的一次方改为二次方.回归最小二乘支持向量机的提法如下: 对于一个给定的训练数据集: 利用高维特征空间中的线性函数: 来拟合样本集,其中非线性映射?(?)?(?)把数据集从输入空间映射到特征空间,以便使输入空间中的非线性拟合问题变成高维特征空间中的线性拟合问题.根据结构风险最小化原理,综合考虑函数复杂度和拟合误差,回归问题可以表示为约束优化问题: 为了求解上述优化问题,把约束优化问题变成无约束优化问题,建立Lagrange函数: 根据KKT条件有: 从方程组(3)中消去ei,w后,可以得到: 其中, y=(y1,y2,…,yl)T,e1=(1,1,…,1)T, α=(α1,α2,…,αl)T, Qi j=(?(xi)·?(xj))=k(xi,xj),i,j=1,2,…,l. 所求的拟合函数,即支持向量机的输出为 从式(4)可以看出,最小二乘支持向量机的训练问题归结为一个线性方程组的求解问题,而不像标准支持向量机那样要求解一个二次型规划问题,而解线性方程组比求解二次规划要简单快速. 最小二乘支持向量机与标准支持向量机比较起来,具有的特点如下:(1)最小二乘支持向量机比标准支持向量机具有更小的计算复杂性;(2)最小二乘支持向量机的解丧失稀疏性,即解中含有的支持向量的个数很多,甚至包括全部训练样本;(3)最小二乘支持向量机能够把支持向量机、调整神经网络、高斯过程、bays技术有机地统一在一起,能够探讨它们的本质联系;(4)最小二乘支持向量机能够扩展为自回归的形式来处理动态问题. 3 最小二乘支持向量增量学习 首先研究最小二乘支持向量机的增量式学习算法.对于增量式学习来讲,样本集是递增的,即样本集{(xi,yi)}i=ti=1i=ti=1(t表示一个自然数)随着时刻t的递进而每次新增一个样本.学习的样本集可以表示为{x(t),y(t)},其中,x(t)=[x1,x2,…,xt],y(t)=(y1,y2,…,yt)T,xt∈Rn,yt∈R.这样核函数矩阵Q、待求的Lagrange乘子α和常值偏差b都是t的函数,表示如下: Qt(i,j)=k(xi,xj),i,j=1,2,…,t, α(t)=(α1,α2,…,αt)T,b(t)=bt, 最小二乘支持向量机的输出式(5)变为 设H(t)=Qt+C-1I,则式(4)可以改写为 根据式(7)可得 令U(t)=H(t)-1,并在式(9)两端同乘以e1TU(t),有 综合考虑式(8)、(10),有 可得 代入式(9),可求得 从式(12)、(13)可以看出,为了求出α(t)、b(t),关键点在于求出H(t)的逆U(t).在H(t)的行列数较高时,求逆的计算复杂性很大,下面将利用矩阵计算的技巧来求H(t)的逆U(t).在t时刻,核函数矩阵Qt是t×t的方阵: 则H(t)也是t×t的方阵. 在t+1时刻,新数据样本(xt+1,yt+1)将会加进来,样本总数将达到t+1个,核函数矩阵Qt+1是(t+1)×(t+1)的方阵,它比t时刻的核函数矩阵Qt多一行、一列: 则H(t+1)也是(t+1)×(t+1)的方阵: 比较H(t+1)和H(t)的元素,可以看到,H(t+1)能写成如下分块矩阵的形式: 其中,V(t+1)=[k(x1,xt+1),…,k(xt,xt+1)]T,v(t+1)=k(xt+1,xt+1)+1/C. 对于矩阵A,假设可以表示成分块矩阵的形式: 当A-1及A-111?111存在时,有 其中B=A22-A21A-111?111A12,I为单位阵.若分块阵A1111为一对