SVM和基于PCA、PLS的SVM在非线性辨识中的比较研究.docVIP

SVM和基于PCA、PLS的SVM在非线性辨识中的比较研究 第24卷第6期 2007年6月 计算机应用研究 ApplicationResearchofComputers Vo1.24No.6 June2007 SVM和基于PCA,PLS的SVM 在非线性辨识中的比较研究术 于春梅,杨胜波,陈馨,张洪才 (1.西南科技大学信息工程学院.四川绵阳621010;2.西北工业大学自动化学院,陕西西安710072;3.上海 大学机电工程与自动化学院,上海200072). 摘要:对于同一个非线性系统,比较单纯￡-不灵敏支持向量机方法和基于主元提取,基于偏最小二乘提取的 ￡一不灵敏支持向量机方法在输入相关和不相关两种情况下的拟合性能和抗干扰性能.仿真结果表明:-3输入变 量之间存在相关性时,基于特征提取的方法优于直接采用￡一不灵敏支持向量机的方法. 关键词:支持向量机;非线性系统辨识;偏最,J乘;主元分析 中图分类号:TP13文献标志码:A文章编号:1001—3695(2007)06—0085—02 ComparisonofSVM,PLS—basedSVM,andPCA—basedSVMfor NonlinearSystemIdentification YUChun.mei一,YANGSheng-bo,CHENXin,ZHANGHong—eal (1.SchoolofInformationEngineedng,SouthwestUniversityofScienceamp;Technology,MianyangSiehuan621010,China;2.SchoolA啪眦- tion.NorthwesternPolytechnicalUnive~ity,fanShanxi710072,China;3.CollegeofMechtronicsEngineeringamp;Automation,Shanghai University,Shanghai200072,China) Abstract:T0comparetheperformancesof￡一insensitiveSVM.PLS—basedSVMandPCA—basedSVM.twocasesofthe~931cle nonlinearsystemforidentificationwereconsidered.0BeiSthattheinputvariablesarecorrelated.theotheriStheyareuncor- related.TheresultsshowedthatPLS.basedSVMandPCA—basedSVMperformmuchbettertllantllatwithoutfeatureextraction inthecaseofvariablescorrelation. Keywords:supportvectormachine(SVM);nonlinearsystemidentification;partialleastsquares(PI5);principalcompo— nentanalysis(PCA) 0引言 非线性系统的辨识尤其是黑箱辨识一直是众多学者研究 的热点问题之一.近年来出现的基于统计学习理论为基础的 支持向量机(SVM),有机结合了统计理论,机器学习,优化理 论等,根据结构风险最小化原则来自动学习模型的结构,通过 调节控制参数来改变模型结构,成为继神经网络,模糊辨 识等方法之后用于黑箱辨识的热点方法J.但是,SVM对干 扰的抑制能力非常有限,尤其在输入空间维数较大且存在相关 时,即使是￡-不灵敏支持向量机等改进方法也不能完全解决 这个问题.因此,如何使其有效抑制干扰就成为SVM用于实 际工程的一大问题. 多变量投影方法如主元分析方法(PCA),偏最小二乘方法 (PLS)将多变量高维数据空间投影到相对独立的低维空间,以 消除数据的相关性,对噪声也可以起到有效的抑制作用.因 此,这类方法在工业过程监控中获得了广泛的应用H.基于 这样的考虑,本文首先用PCA,PLS方法消除数据的相关性,并 降低干扰的影响.处理后的数据用SVM进行学习以获得辨识 参数. 1原理介绍. 1.1PCA简介 设输入矩阵XR.其中每一列对应一个观测变量,每 一 行对应一个样本.矩阵X可以分解为 X=tlPl+t2p2+…+t ra p=77,r(1) 其中,t∈R为得分向量,P∈R为负荷向量;相应地,7-=[t., tz,…,t]为得分矩阵,P=[PP:,…,P]为负荷矩阵.得分 向量和负荷向量皆互相正交,且负荷向量为单位向量,即 tiTtj=0,piTpj:0 ,i#j(2) Pi=1,i:,(3) 将式(1)等式两边同时右乘p,并将式(2)和(3)代入