机器学习_相似度度量.pptVIP

流形学习 作为机器学习研究的热点问题之一,流形学习是要从高维数据集中发现内在的低维流形,并基于低维流形来实现随后的各种机器学习任务,如模式识别,聚类分析等。 与欧氏空间不同,流形学习主要处理的是非欧空间里的模式识别和维数约简等问题。 从宇宙空间看地球,如果不借助外界力量的话,我们只能局限于地球的表面活动,而且地球上两点的距离并不单纯是它们对应的直线的跟离,而是它们的测地线即离可以证明,我们生活的地球是一个嵌入在3维欧式空间中的维流形,也就是说,地球表面点的位置可由两个变量来控制。 流形学习 机器学习相似度概述 流形学习 从定义我们可以看出,流形就是局部欧式的拓扑空间,欧式空间的性质只在邻域内有效。值得指出的是,当邻域定义为整个欧氏空间时,欧氏空间本身也可以视为流形。所以，流形学习并非是一种特殊学习方法，而是基于欧氏度量学习的一种推广,具有更强的一般性。 流形学习 机器学习相似度概述 流形学习 从定义我们可以看出,流形就是局部欧式的拓扑空间,欧式空间的性质只在邻域内有效。值得指出的是,当邻域定义为整个欧氏空间时,欧氏空间本身也可以视为流形。所以，流形学习并非是一种特殊学习方法，而是基于欧氏度量学习的一种推广,具有更强的一般性。 流形学习 机器学习相似度概述 流形学习 我们假设这些观测数据是由一些隐变量Y通过一个映射f：Y-X生成的,其中 ，于是流形学习的任务就是通过观测数据把未知映射f和隐变量Y重建出来。由于mn,故该问题是一个病态问题,不存在唯一解,因此研究人员提出了各种各样的流形学习算法,它们试图通过添加某些特定约束用以恢复流形的内在结构。 流形学习 机器学习相似度概述 流形学习 总体来说,流形学习的兴起来源于2000年在《科学》杂志上的两篇关于流形学习的文章“其中一篇提出了一个叫ISOMAP的方法,该方法把传统的MDS算法扩展到非线性流形上,通过对中心化的测地线距离矩阵进行特征值分解来保持流形上的整体拓扑结构。而另一篇文章提出厂局部线性嵌入(Local Linear Embedding (LLE))算法,该算法假设高维数据和低维数据的局部拓扑结构关系保持不变,即邻域关系不变,然后刊用这种关系从高维数据重构出低维的流形嵌入。 流形学习 机器学习相似度概述 PCA 该方法认为特征的方差越大提供的信息量越多，特征的方差越小提供的信息量越少。PCA 通过原分量的线性组合构造方差大、含信息量多的若干主分量，从而降低数据的维数。 流形学习 机器学习相似度概述 H. Hotelling．Analys is of a complex of statistical variables into principal components[J]. Journal of Educational Psychology, 1933, 24: 417-441. MDS 其中（a）为真实数据集的流形结构图，（b）为从（a）随机采样 2000 个点后的数据分布图，（c）、（d）和（e）为经三次不同采样后，采样点经 MDS 算法降到二维空间后分布图。可以看出，（c）图在一定程度上保持了数据的连续性，但并没有发现嵌 入在数据的本质，改变了采样点的拓扑结构；（d）和（e）图的效果更差，不同样本点均发生了不同程度的重叠，严重改变了采样点的结构。。 流形学习 机器学习相似度概述 C. K. I. Williams．On a connection between kernel PCA and metric multidimens ional scaling[J]. Machine Learning, 2002, 46(1-3): 11-19. ISOMAP 其中（a）为真实数据集的流形结构图，（b）为从。 流形学习 机器学习相似度概述 J. B. Tenenbaum, V. D. Silva, J. Langford．A global geometric framework for nonlinear dimensionality reduction[J]. Science, 2000, 290(5500): 2319-2323． 流形学习 Laplacian Eigenmap(LE)就是其中的一种,该算法首先构造一个邻域关系图,然后对该图的拉普拉斯矩阵进行特征值分解来得到流形的低维表示,这样的分解保持了数据的局部关系，注意到在LE中,我们要估计流形上的Laplacian算子。 Hessian Eigenmap(HLLE) 该算法通过估计流形上的Heosian