联合核主成分分析.pdfVIP

第27卷第4期 沈阳大学学报(自然科学版) V01．27，No．4 201 of Science) 015 5年8月 Journal University(Natural Aug．2 Shenyang 文章编号：2095—5456(2015)04—0306—07 联合核主成分分析 王 结，孟 芸 (华东理工大学计算机科学与工程系，上海200237) Kernel 摘 要：提出了KPCA的一种称为联合核主成分分析(JointPrincipleComponentAnalysis， JKPCA)的变型，能够从输入和输出空间引出先验信息用于特征提取．首次将联合核映射应用于特征提取领 域，而且在图像数据集上的实验结果表明，JKPCA是可行并有效的． 关键词：核主成分分析(KPCA)；联合核映射；特征提取；核方法 181 中图分类号：TP 文献标志码：A 特征提取是模式识别中一个重要的研究方 性能优于两个典型特征提取方法，即基于核的主 向．一个模式识别系统的成败，首先取决于所利用 的特征是否较好地反映了将要研究的分类问题． (KFDA)[4]，而且和对比算法相比，计算复杂度 对于已获得的特征，一方面，有很多与分类问题不 相当． 相关，在分类器设计中会影响分类器的性能；另一 1 相关工作 方面，特征过多会带来计算量大和推广能力差等 问题[1]．因此，人们希望在保证分类效果的前提下 主成分分析(PCA)投射原始数据至可以用 使用尽可能少的特征，特征提取就是一种被广泛 特征值问题解决的主成分，即使用规模很小的主 采用的方法． 成分，也足够表达原始数据的主要结构．PCA是 在特征提取中，主成分分析(PCA)[2弋]是一～种数学变换方法，把给定的一组相关变量通过 种经典的用于从原始数据中提取紧密结构的特征 线性变换转成另一组不相关的变量，在数学变换 提取方法．选择较少的主成分来表示数据，不但可 中保持变量的总方差不变，使具有最大方差的第 以用作特征的降维，还可以用来消除数据中的噪 ～变量为第一主成分，第二变量的方差次大，并且 声．但是主成分分析并不总是对分类有好处，如果 和第一变量不相关为第二主成分，依此类推[5]。因 相比于类别之间的差别来说噪声很大，那么主成 为PCA是一种线性方法，而且只能用于原始数据 分分析将找到噪声的主方向而不是人们所期望的 信号的主方向[1]．因此，对特征提取方法的改进是 式的核主成分分析(KPCA)．实验证明，因为 十分必要的，它直接影响到后续分类器的设计和 KPCA能够通过选择不同的核函数处理特征空 模式识别系统的总体性能． 问中的任意维度，它比PCA更有效且有更好的适 基于以上描述，本文首次将联合核映射 应性[61]．核方法之所以性能优异是因为采用了 (JKM)应用于特征提取领域，提出了一种新型的核函数，核函数即在特征空间F上的内积，它能 基于核的特征提取方法，称作联合核主成分分析 够将原始输入空间的xEF映射到特征空间，有 (JKPCA)．由于方法中采用的JKM是基于输入西(z)EF： 和输出空间的联合数据表示，JKPCA相比其他方 ①：X—F，x一9(x)， (1) 法能够引入更多的先验信息．实验结果表明， JKPCA在由图像表示的输出数据上不仅其分类k能够从原始输入空间引入先验信息．在一