基于监督学习的核拉普拉斯特征映射分类方法.doc

张建波，朱敏琛 ( 福州大学数学与计算机科学学院，福建，福州 350108) 摘要: 提出一种监督学习的核拉普拉斯特征映射方法( supervised kernel Laplacian eigenmap，SKLE) ，通过非线性 核映射将样本数据投影到高维核特征空间，然后将流形结构和样本类别信息进行有效的结合后，提取嵌入在高 维数据中的低维流形特征用于分类． 实验表明，该方法对新样本具有泛化性，并且能有效提高分类的效能． 关键词: 监督学习; 拉普拉斯特征映射; 流形学习; 核方法 中图分类号: 文献标识码: TP391 A Classification based on supervised kernel Laplacian eigienmaps ZHANG Jian － bo，ZHU Min － chen ( College of Mathematics and Computer Science，Fuzhou University，Fuzhou，Fujian 350108，China) Abstract: Proposes a method named supervised kernel Laplacian eigenmaps ( SKLE) ，which suggests using the kernel non － linear mapping to project the sample data onto the high － dimensional kernel characteristic space，and then combining the samples of manifold architecture and category information effectively，and finally extracting the low － dimensional manifolds features embedded in high － dimen- sional data for classification． Experiments show that the method has a generalization performance to new samples，and can effectively improve the classification performance． Keywords: manifold learning; Laplacian eigenmaps; supervised; kernel method 0 引言 维数约简是机器学习、模式识别等领域的重要研究课题，维数约简的目的就是找到隐藏于高维数据 中的低维结构． 传统的线性维数约简，如主成分分析法( PCA) ，经典多维尺度分析( CMDS) 等对高维线性 数据处理得比较好，而对于非线性高维数据的处理显得就有点无能为力了． 2000 年，美国《Science》上发 表了三篇论文［1 － 3］，首次使用了 manifold learning 的术语，标志着流形学习方法的提出． 流形学习方法是 一种非线性维数约简方法． 流形学习维数约简过程可以形式化地表示为［4］: 假设数据是均匀采样于一个 高维欧氏空间中的低维流形，流形学习就是从高维采样数据中恢复低维流形结构，即找到高维空间中的 低维流形，并求出相应的嵌入映射，以实现维数约简或者数据可视化． 最具有典型代表性的方法有等距映 射( isometric feature mapping，ISOMAP) ［2］、局部线性嵌入( local linear embedding，LLE) ［3］和拉普拉斯特征 映射( Laplacian engenmaps，LE) ［5］等． 拉普拉斯特征映射方法( LE) ［5］采用图拉普拉斯算子来表示流形的局部特征结构，认为在高维空间中 距离很近的点投影到低维空间也应该距离很近，适用于聚类、分类问题，它的收敛性和鲁棒性较好，因而 被广泛应用． 然而，LE 是一种无监督学习方法，未能充分利用样本的类别信息，进行维数约简后，并不能 显著提高分类的识别率，并且对新样本点没有泛化能力． 针对这些问题，人们提出了一些解决方法． 文献 ［6］在 LE 算法能够很好的保留高维数据的近邻结构的基础上，引入了样本的类别信息，提出监督学习的 改进 LE 算法( I_LE) ，提高了分类性能，但对于新样本点的泛化问题上还是没能有效地解决． 近年来，核 空间，只要符合 Mercer kernel 条件，在泛化性能上能得到一定的保证． 随着核方法的使用，人们也把核方 法的思想用于流形学习中，文献［8］把核方法用于 LL