基于核主元提取的支持向量机辨识.pdfVIP

第39 卷第 1 期 数学的实践与认识 V o l39　N o 1　 2009 年 1 月 M A TH EM A T IC S IN PRA CT ICE AN D TH EO R Y J an. , 2009　 基于核主元提取的支持向量机辨识 于春梅, 　潘　泉, 　程咏梅, 　张洪才 ( 西北工业大学自动化学院, 陕西 西安　7 10072) 摘要: 　将一种基于特征提取的 不灵敏支持向量机方法用于非线性系统辨识. 对输入输出数据首先进行 核主元特征提取, 将特征提取后的数据作为支持向量机的训练数据. 将该方法与基于主元特征提取的方法和 直接应用 不灵敏支持向量机的方法进行含噪和不含噪情况下的仿真比较, 结果表明, 方法的拟合性能和抗 干扰能力优于其他两种方法. 关键词: 　支持向量机; 非线性系统辨识; 核主元分析; 特征提取 1　引　　言 　　支持向量机( ) 是学习理论的一种成功实现, 它基于统计学习理论的 维和结构 SVM V C 风险最小化的原理, 根据有限样本信息, 在模型复杂度和学习能力之间寻求最佳折中, 以期 [ 1 ] 获得最佳推广能力 . 目前, 支持向量机已经在模式识别、函数回归、故障分类等领域获得了 成功应用[24 ]. 主元分析法(PCA ) 是在大工业过程的建模、故障检测等方面已获得广泛应用的一种多 元统计分析方法[ 5, 6 ] , 它通过将多变量高维数据空间投影到相对独立的低维空间, 达到消除 数据的相关性的目的. 引入核函数可将PCA 推广为核PCA (KPCA ) [7, 8 ] , 即首先将输入空间 影射到高维特征空间, 再在特征空间进行主元分析. 本文利用KPCA 提取输入数据的主要 成分, 提取后的数据作为 不灵敏支持向量机的训练样本, 来解决非线性系统的辨识问题. 2　特征提取 2. 1　PCA 简介 设输入矩阵X ∈R n ×m , 其中每一列对应一个观测变量, 每一行对应一个样本. 矩阵X 可 以分解为 X = t p T + t p T + …+ t p T = T P T ( 1) 1 1 2 2 m m 其中, t ∈R n 为得分向量, p ∈R m 为负荷向量; 相应地, T = [ t , t , …, t ] 为得分矩阵, P i i 1 2 m = [p 1 , p 2 , …, p m ] 为负荷矩阵. 得分向量和负荷向量皆互相正交, 且负荷向量为单位向量. 即, tT t = 0, p Tp = 0, i ≠j (2) i j i j p Tp = 1, i = j