流行学习简介.ppt

流 形 学 习 简 介 基于流形学习的方法－LLE（locally linear embedding）* 基于流形学习的方法－LLE（locally linear embedding）* 非线性降维－近邻点K的选取 非线性降维－近邻点K的选取 非线性降维－近邻点K的选取 图距离逼近测地距离 谢 谢！ * 许馨 2004.9 设 是一个低维流形， 是一个光滑嵌入, 其中 Dd . 数据集 是随机生成的，且经过 f 映射为观 察空间的数据 流形学习就是在给定观察样本 集 的条件下重构 f 和 . V. de Silva and J. B. Tenenbaum. Global versus local methods in nonlinear dimensionality reduction . Neural Information Processing Systems 15 (NIPS2002), pp. 705-712, 2003. 流形学习的定义 几种流形学习算法 局部线性嵌入(LLE). S. T. Roweis and L. K. Saul. Nonlinear dimensionality reduction by locally linear embedding. Science, vol. 290, pp. 2323--2326, 2000. 等距映射(Isomap). J.B. Tenenbaum, V. de Silva, and J. C. Langford. A global geometric framework for nonlinear dimensionality reduction. Science, vol. 290, pp. 2319--2323, 2000. 拉普拉斯特征映射(Laplacian Eigenmap). M. Belkin, P. Niyogi, Laplacian Eigenmaps for Dimensionality Reduction and Data Representation. Neural Computation, Vol. 15, Issue 6, pp. 1373 –1396, 2003 .? 1.LLE算法的主要思想：对于一组具有嵌套流形的数据集，在嵌套空间与内在低维空间局部邻域间的点的关系应该不变。 即在嵌套空间每个采样点可以用它的近邻点线性表示，在低维空间中保持每个邻域中的权值不变，重构原数据点, 使重构误差最小. 2.算法步骤： 1）设D维空间中有N个数据属于同一流形，记做：Xi＝〔xi1,xi2,...,xiD〕，i=1～N。假设有足够的数据点，并且认为空间中的每一个数据点可以用它的K个近邻线性表示。求近邻点，一般采用K近邻或者 邻域. 2）计算权值Wij，代价函数为： ，（1） 并且权值要满足两个约束条件： 1每一个数据点Xi都只能由它的邻近点来表示，若Xj不是近邻点，则Wij=0； 2权值矩阵的每一行的和为1，即： 。 这样，求最优权值就是对于公式（1）在两个约束条件下求解最小二乘问题。权值体现了数据间内在的几何关系。 ， 3）保持权值不变，在低维空间d（dD）中对原数据点重构。设低维空间的数据点为Yi，可以通过求最小的代价函数 （2）来得到。 公式（2）的最优解需要满足下面的约束条件： 1）