有关流形学习论文.docVIP

有关流形学习论文 　　 　　流形学习 　　 　　流形学习是个很广泛的概念这里我主要谈的是自从2000年以后形成的流形学习概念和其主要代表方法自从2000年以后流形学习被认为属于非线性降维的一个分支众所周知引导这一领域迅速发展的是2000年Science杂志上的两篇文章:IsomapandLLE(LocallyLinearEmbedding) 　　 　　1.流形学习的基本概念 　　 　　那流形学习是什莫呢为了好懂我尽可能应用少的数学概念来解释这个东西所谓流形（manifold）就是一般的几何对象的总称比如人有中国人、美国人等等；流形就包括各种维数的曲线曲面等和一般的降维分析一样流形学习把一组在高维空间中的数据在低维空间中重新表示和以往方法不同的是在流形学习中有一个假设就是所处理的数据采样于一个潜在的流形上或是说对于这组数据存在一个潜在的流形对于不同的方法对于流形性质的要求各不相同这也就产生了在流形假设下的各种不同性质的假设比如在Laplacian 　　 　　Eigenmaps中要假设这个流形是紧致黎曼流形等对于描述流形上的点我们要用坐标而流形上本身是没有坐标的所以为了表示流形上的点必须把流形放入外围空间（ambientspace）中那末流形上的点就可以用外围空间的坐标来表示比如R^3中的球面是个2维的曲面因为球面上只有两个自由度但是球面上的点一般是用外围R^3空间中的坐标表示的所以我们看到的R^3中球面上的点有3个数来表示的当然球面还有柱坐标球坐标等表示对于R^3中的球面来说那末流形学习可以粗略的概括为给出R^3中的表示在保持球面上点某些几何性质的条件下找出找到一组对应的内蕴坐标（intrinsiccoordinate）表示显然这个表示应该是两维的因为球面的维数是两维的这个过程也叫参数化（parameterization）直观上来说就是把这个球面尽量好的展开在通过原点的平面上在PAMI中这样的低维表示也叫内蕴特征（intrinsicfeature）一般外围空间的维数也叫观察维数其表示也叫自然坐标（外围空间是欧式空间）表示,在统计中一般叫observation 　　 　　了解了流形学习的这个基础那末流形学习中的一些是非也就很自然了这个下面穿插来说由此如果你想学好流形学习里的方法你至少要了解一些微分流形和黎曼几何的基本知识 　　 　　2.代表方法 　　 　　a)Isomap 　　 　　JoshTenenbaum的Isomap开创了一个数据处理的新战场在没有具体说Isomap之前有必要先说说MDS（MultidimensionalScaling）这个方法我们国内的很多人知道PCA却很多人不知道MDSPCA和MDS是相互对偶的两个方法MDS就是理论上保持欧式距离的一个经典方法MDS最早主要用于做数据的可视化由于MDS得到的低维表示中心在原点所以又可以说保持内积也就是说用低维空间中的内积近似高维空间中的距离经典的MDS方法高维空间中的距离一般用欧式距离 　　 　　Isomap就是借窝生蛋他的理论框架就是MDS但是放在流形的理论框架内原始的距离换成了流形上的测地线（geodesic）距离其它一模一样所谓的测地线就是流形上加速度为零的曲线等同于欧式空间中的直线我们经常听到说测地线是流形上两点之间距离最短的线其实这末说是不严谨的流形上两点之间距离最短的线是测地线但是反过来不一定对另外如果任意两个点之间都存在一个测地线那末这个流形必须是连通的邻域都是凸的Isomap就是把任意两点的测地线距离（准确地说是最短距离）作为流形的几何描述用MDS理论框架 　　 　　理论上保持这个点与点之间的最短距离在Isomap中测地线距离就是用两点之间图上的最短距离来近似的这方面的算法是一般计算机系中用的图论中的经典算法 　　 　　如果你曾细致地看过Isomap主页上的matlab代码你就会发现那个代码的实现复杂度远超与实际论文中叙述的算法在那个代码中除了论文中写出的算法外还包括了outlierdetection和embeddingscaling这两样东西保证了运行他们的程序得到了结果一般来说相对比较理想但是这在他们的算法中并没有叙述如果你直接按照他论文中的方法来实现你可以体会一下这个结果和他们结果的差距从此我们也可以看出那几个作者做学问的严谨态度这是值得我们好好学习的 　　 　　另外比较有趣的是Tenenbaum根本不是做与数据处理有关算法的人他是做计算认知科学（putationalcognitionscience）的在做这个方法的时候他还在stanford02年就去了 　　 　　MIT开创一派成了CoCoSci的掌门人他的组成长十分迅速但是有趣的是在Isomap之后他包括他在MIT带的学生就从来再也没有做过类似的工作其原因我今年夏天有所