一种提高Kernel PCA特征提取性能的核优化算法.docVIP

一种提高Kernel PCA特征提取性能的核优化算法 段祎林1 田亚爱2 林书玉3 （1,2.西安石油大学理学院， 西安 710065 3.陕西师范大学物理与信息技术学院，西安 710062） 基于核的主分量分析（Kernel PCA）能够提取数据的非线性特征，但其性能受核参数的影响非常大。本文提出一种新的基于特征空间中非高斯分布估计的核参数优化算法。该方法基于Kernel PCA中最优的参数应能导致特征空间中数据具有高斯分布的思想，通过对特征空间中数据的非高斯性结构进行分析，从反面估计其对高斯分布的逼近程度。采用该方法对各种数据进行实验都有很好的效果，表明了该方法的有效性。 关键字： 基于核的主分量分析；特征子空间；独立分量分析；最大熵原则 An optimizing kernel algorithm for improving Kernel PCA feature extraction DUAN Yi-lin1 TIAN Ya-ai2 LIN Shu-yu3 (1,2.The College of Science ,Xi’an Shiyou University , Xi’an 710065 3.The School Of Phsics Information Technology,Shaanxi Normal University, Xi’an 710062) Kernel PCA can effectively extract nonlinear features of data set. Its performance, however, is strongly influenced by parameter of kernel. In this paper, we propose a novel parameter optimizing algorithm based on the nongaussian distribution estimation in feature space. Based on the idea that the optimized parameter can lead to the mapped data in feature space to be Guassian, our method analyses the nongaussian structure of the mapped data, and then inversely estimates the degree of mapped data’s distribution close to the Gaussian one in feature space. The experiments, on every data, demonstrate excellent results which show effectiveness of the method proposed in this paper. Kernel PCA; sub-feature space; ICA; maximum-entropy principle 引言 基于核的主分量分析法（Kernel PCA）[1]是利用核技巧对PCA的一种非线性推广，能有效地捕捉数据的非线性特征，但是其性能受核函数影响很大。最优核函数应能导致数据在特征空间中具有高斯分布，但由于特征空间中映射数据的不可表示特点，导致我们无法直接估计数据在特征空间中的分布，所以没有非常有效的方法解决Kernel PCA的核优化问题。 本文提出了一种新的核优化方法，通过定义特征子空间，并对特征子空间中数据的非高斯结构进行分析，进而估计特征空间中数据的分布，巧妙地回避了数据在特征空间中的不可表示问题，并给出目标函数来确定最优的核参数。大量实验验证了方法的有效性。 Kernel PCA 已知一组观测样本。我们首先通过一个非线性函数将样本映射到特征空间，。假设中的映射样本是已中心化了的，即。计算协方差矩阵。我们需要求的特征值及相应的特征向量，满足。由于特征值非零的特征向量都落在数据的张集上，即，所以存在一组系数使得 （1） 由此，我们得到 ， （2） 通过定义一个的核矩阵，(2)式可写为 （3） 所以，为确定特征向量而求取系数的问题就仅依赖于特征值分解核矩阵。 我们需要在中归一化特征向量，