一种在线稀疏LSSVM及其在系统建模中应用.docVIP

一种在线稀疏LSSVM及其在系统建模中的应用 　　摘要:为了减少在线最小二乘支持向量机(LSSVM)的计算量和存储空间,提出了一种在线稀疏LSSVM.这种LSSVM利用滑动时间窗中部分时刻的样本作为训练样本集.新时刻的样本总是加入训练样本集;每次删除样本时,若滑动时间窗最前端时刻的样本在训练样本集中,则删除它,否则从训练样本集中选择留一法预测误差最小的样本删除.与现有的在线LSSVM相比,这种在线稀疏LSSVM能用较少的样本学习系统较多的特性,能提高时空效率;与现有的在线稀疏LSSVM相比,它能摆脱陈旧样本的影响,更加适应系统的时变性.系统建模仿真实验表明,该在线稀疏LSSVM能节省时间和空间,具有较高的预测精度. 　　关键词:最小二乘支持向量机;学习算法;稀疏性;选择性删除;系统建模 　　中图分类号:TP18,TP273文献标识码:A 　　AnOnlineSparseLSSVMandItsApplicationinSystemModeling 　　ZHOUXin??ran????1,2?k??,TENGZhao??sheng??1 　　(1.CollegeofElectricalandInformationEngineering,HunanUniv,Changsha,Hunan410082,China; 　　2.SchoolofInformationScienceandEngineering,CentralSouthUniv,Changsha,Hunan410075,China) 　　Abstract:Toreducethecomputationtimeandthestoragespaceofonlineleastsquaressupportvectormachine(LSSVM),anonlinesparseLSSVMwasproposed.ThisLSSVMonlytakessamplesatpartialmomentsamongslidingtimewindowastrainingsamplesset(TSS).Thenewsampleislearnednecessarily.Whensampleeliminationisperformed,ifthesampleattheoldestmomentamongslidingtimewindowexistsinTSS,itwillberemovedduringdecrementallearning.Otherwise,thesamplewiththesmallestleave??one??outpredictingerroramongTSSisselectedanddeleted.ComparedwiththeexistingonlineLSSVM,theproposedonlinesparseLSSVMcanlearnmorecharacteristicofthesystemwithfewersamples,andheightentime??spaceefficiency.ComparedwiththeexistingonlinespareLSSVM,itcangetridoftheobsoletesample,andbetteradapttotime??variantpropertiesofsystem.NumericalsimulationresultsforsystemmodelinghaveshownthattheproposedonlinesparseLSSVMcansavetimeandspace,andprovideaccuratepredictions. 　　Keywords:leastsquaressupportvectormachine(LSSVM);learningalgorithms;sparsity;selectivedeletion;systemmodelling 　　最小二乘支持向量机用等式约束代替支持向量机????[1-3]??的不等式约束,因此其求解问题就变成一个线性方程组求解问题,这比支持向量机训练中受约束的二次规划问题求解运算量减少许多.为将LSSVM用于系统在线建模,文献[4-5]设计了LSSVM在线式学习算法,用滑动时间窗中的所有样本训练LSSVM,这类方法的优点是模型能及时反映系统的特性,但当滑动时间窗较长时,在线学习和预测计算量较大,而且要存储一个较大的矩阵(下文的H??????-1??????N);文献[6-7]设计了在线稀疏??LSSVM,这类方法提高了时空效率,但这类方法不一定会将较老样本删除,对于时变系统或工作点移动系统而言,较老样本不仅不能反映系统当前特性,还对LSSVM泛化精度有负作用.本文结