流形学习方法中的若干问题分析.pdfVIP

第 36 卷第 4 期 2009笙4 月 计算机科学 Computer Science Vol. 36 No.4 Apr.2009 流形学习方法中的若干问题分析 高小方 (山丽大学计算智能与中文处理教育部实股室 太原 030006) 摘 瞿 就形学习是近年来机器学习与认知科学中的一个新的研究热点，其本质在于根据有限的离散样本学习和发 现嵌入在高维空间中的低锥光滑流形，从而揭示隐藏在高维数据中的内在低维结构，以实现非线性降维或者可视化. 介绍了几种主要的流形学习算法，分析了它们的优势与不足，总结了流形学习方法中常要解决的若干问题及其研究现 状，并展望了流形学习未来的研究前薇。 关键词 流形学习，旅数约筒，等距映射算法，局部线性嵌入算法 Problems and Analysis 10 Manifold 1刷ming GAO Xiao-fang ‘ Key Laboratory of ComputatíonaI InteIIígence and Chínese Information Pr阳ssing of Ministry of Education. Shamci University, Taìyuan 030006 ,Chína) At脚act Manifold learniJlg is a newer research direction of machine learniJlg and ∞ngnitive science in recent years , íts essence ís to find out the low dimensional manifold hidden in high dimensional space though learniJlg díscrete 阳nples. and get the hidden dimensional structure of the high dimensional data to realize non-linear dimension reduction. The pa唰 per introduced some manifold learniJlg algorit阳时，summariz时 some problems of manífold learniJlg and its re白earch sta- tus, and discuss时 the pros阳ct of manifold learr让ng. Keywω由Manifold leaming, Dimensionalìty reduction , ISOMAP. LLE 随着信息时代的到来，对高维数据的处理成为迫切需要 解决的问题。如何对高维数据降维，以解决维数灾难，成为 人工智能和机指学习领域的研究热点。荣国著名杂志Sci翩 ence在 2000 年连续发表了 3 篇论文[HJ ，从认知的角度提出 并讨论了梳形学习的研究课题。不仅酋快使用了术语mani唰 fold learning(流形学习).而且给出了可行的挥棒，为维数的 简掘出了一个新的研究方向，从而引起了流形学习的研究 热潮。 在这 3 篇论文中.Seung 等人认为人类很大程度上是通 过低维流形来认知各种事物的，耐高维信息)般情况下就般 人在一个低维流形中(IJ. Tenenbaum 与 Sílva 研究了图模型 意义下的观测空间数据集与内在低维空间测地绒距离之间的 关系，提出了等距映射算法OSOMAP)凶。 Roweis 与Saul 也 提出了局部线性嵌入算法(LLE)问。 本文首先介绍了流形与流形学习的概念和数学描述.分 析了几种1:耍的流形学习算法，总结了流形学习研究中的若 干问酷以及研究现状，最后展望了流形学习未来的研究前景。 1 流形与流形学习 流形是微分几何中的一个基本概念，最早由 Riemann 在 1854 年提出，其定义为:设 M是一个 Hau叫orff拓扑空间，若 M的每叫点 ρ 都有一个开邻域UCM.使得 U 和 n 维肤氏空 间 R 中的一个开子集同胚，则称M是一个n 维拓扑流形，简 称为 n 维流形。 从流形的定义可以看出，所谓流形就是一类特殊的连通 Hausdorff 仿射拓扑空间，其本质就是局部可坐标化的拓扑空 间，可以看作是欧氏空间的非线性推广。局部坐标可以将 问翩分解为局部间是题进行计算，而拓扑空间只能保证将局部 计算结果合理、光滑地拼接起来，揭示问题的整体结构。流形 研究的主要目标是经过坐标卡变换而保持不蛮的性质。 流形学习就是要根据有限的离散样本学习和发现嵌入在 离维空间中的低维光滑流形，揭示隐藏在高维数据集中的内 在低维结梅，重构并进行非线性降维或者可视化。其定义为 g 设 YcR是一个