非线性维数约减的研究及其应用.pdfVIP

中文摘要 H河人类社会R益深入到信息叫代，存进行科学研究的过程中，不可避免地 会遇剑九量的高维数掘，如全球气候模型、人类基因分粕、文本聚类和文本分类 。¨的诩频等，所以经常会面临维数约减的问题．维数约减的目的是找出隐藏在高 维数折}中的低维结构。 刈维数约减的研究是机器学习的重要主题，维数约减较中肯地把握了人类的 州皇|JI学习和抽敦思维过程的形式特征。 绯数约减算法大致可以分为两类，一。类是线性的方法：如主成分分析法(PCA) 和经她多维尺度算法(CMDS)，另。类是非线性的方法：如等距映射法(Isomap)、 TE)等。 局域线性：嵌入法(LLE)和自组织等距嵌入法(S 本义首先对几种维数约减算法进行了研究和分析。经典的维数约减算法，如 HCA和l(：㈣s，实现简单，可以确保发现处于高维向量空恻的线性子空间上的数掘 集的舆。峡儿frU结构。但是这类算法的线性本质使其无法揭示复杂的非线性流形。 为此，Ft：多非线性维数约减算法相继提出。Isomap是一种全局优化算法，该算 法建也赴经典多维尺度算法CMDS基础之卜，试图保持数据问内在的几何特性， 【11：j保持数据点之间的测地线距离；LLE是一种无监督的学习算法，揭示非线性流 形n0伞局结构。LLE使用一种局域对称和线性重构的方法，将输入空I训的点集映 划为 个单一低维的全局坐标系，并保持点的邻域关系。SIE则是基于’种几何 的观点：一个全局等距的嵌入必然是局域等距的，同样，适当选定一组局域等距 约束条件，可以蕴含全局等距：SIE利用点集的距离分布作为等距约束条件，通 过适当选耿保持局域距离分布的局域等距映象，在概率意义上强迫出全局等距嵌 入映致。 为了客观评价各种非线性维数约减算法的重构质量，本文采用仿真数据和真 实数据分别用各种维数约减算法进行重构。本文将非线性维数约减的方法引入文 本分类，并验证了基于非线性维数约减的文本分类的可用性。仿真实验表明，剥 和【SO[1lktp这样的全局非线性嵌入算法，}=l=}于噪声导致的伪自由度在整体上扭曲 rE构流形，导致重构质量的严重F降，而SIE可以有效屏蔽少数噪声点对于重构 质量的影响，保持近似优化的重构质量；对于真实数据，对于不同的应用，各个 算法的重构质量有很大差异。 关键词：机器学习非线性维数约减局域线性嵌入等距映射自组织等距嵌入 文本分类 ABSTRACT with volumesof as Scientists data，such workinglarge high-dimensionalglobal the of confront climate distribution．regularlyproblem patterns，humangene in structureshidden low-dimensional meaningful dimensionalityreduction；finding their observations． high—dimensional researchof reductionisa issueinmachine The dimensionality veryimportant