一种特征提取新方法及与PCA、KPCA的关系研究.pdfVIP

一种特征提取新方法及与PCA、KPCA的关系研究 吴德会1，2 1．数字控制技术与应用江西省重点实验室，江西九江332005 E-mail：wdh—hf—mail@163．tom 2．清华大学电机工程与应用电子技术系，北京100084 E—mail：wudehui@tsin曲ua．edu．cn 摘要：提出了一种利用最小二乘支持向量回归机(LSSVR)实现的高维数据特征提取新方法。首先，通过对训练样本特征的 特殊扩展，将最优投影向量的数学表达推导成与LSSVR算法相同的形式。这样就可以通过对数据集回归，求取最优投影向 量。再利用核技巧，将数据集由输入空间映射到商维特征空间，用线性方法实现非线性特征提取。最后，从理论证明了：1) 所提方法的线性特征提取与主元分析(PCA)方法结果完全一致。2)相对于PCA，所提方法更适合高维数据的情况。3)所提方 法的非线性特征提取与KPCA完全等价，是从另一角度对KPCA的解释。 关键词：特征提取，最小二乘支持向量回归机，主元分析，非线性 and ANovelFeatureExtractionMethodandIts withPCA Relationships KPCA DeihuiWul，2 ofNumericalControl 1．KeyLaboratory ofJiangxiProvince，JiujiangUniversity,Jiangxi332005，China 63．tom E·mail：wdh—hf—mail@1 ofElectrical 2．Department 100084，China Engineering，TsinghlIaUniversity，Beijing E—mail：wudehui@tsinghua．edu．cn Abstraet：Anewfeatureextractionmethodfor data least vector hi面dimensionaIusing squaressupport of vectorsarederivedintothesamefoI111asthatintheLSSVR presented．Firstly。theexpressionsoptimalprojection algorithmby thefeatureof the vectorscouldbeobtainedbv the speciallyextending trainingsamples．Sooptimalprojection LsSVR．Then．using kemel dataafe fromthe toa dimensional nonlinearfeatureextractioniShere tricks．the mapped o