计算机视觉课程-流形学习new.pptVIP

Manifold Learning 什么是流形？ 定义1：如果一个N维的拓扑空间M内的任意一点都存在一个邻域 使得该邻域是N维欧氏空间的同胚，则这个拓扑空间M被称为流形。 流形学习的数学基础 参考文献: 陈省身, 陈维桓, 微分几何讲义. 北京大学出版社, 1983 陈维桓, 微分流形初步(第二版). 高等教育出版社, 2001 什么是流形学习？ 定义2：令Y是包含在欧氏空间 的d维域， 为光滑嵌入，其中Nd。数据点 是随机生成的，经f映射形成观察空间的数据 。一般称Y为隐空间， 为隐数据。流形学习的目标是要从观察数据 中重构f和 什么是流形学习？ 流形学习的可行性 1 许多高维采样数据都是由少数几个隐含变量所决定的，如人脸采样由光线亮度, 人离相机的距离, 人的头部姿势, 人的脸部肌肉等因素决定. 2 从认知心理学的角度, 心理学家认为人的认知过程是基于认知流形和拓扑连续性的. 算法简介 Sciences 2000年: Tenenbaum等人: Isomap Roweis和Saul：LLE NIPS, 2001年： M.Belkin和P.Niyogi: Laplacian Eigenmaps NIPS ICCV 2003： Xiaofei He等人: LPP PAMI 2007： Graph Embedding and Extensions：A General Framework for Dimension LLE S.T.Roweis and L.K.Saul Nonlinear dimensionality reduction by locally linear embedding Science 2000 LLE 主要思想：LLE（Locally Linear Embedding）算法强调在样本集结构不满足全局线性结构时，样本空间与内在低维子空间之间在局部意义下的结构可以用线性空间近似。 LLE LLE 权值计算： 学习目标： 在低维空间中保持每个邻域中的权值不变，即假设嵌入映射在局部是线性的条件下, 最小化重构误差。 LLE 流程图： 应用 应用 Isomap（等距映射） J.B.Tenenbaum, V.D.Silva and K.C.Langford A global geometric framework for nonlinear dimensionality reduction Science 2000 Isomap 主要思想： 建立在多维尺度变换(MDS)的基础上，力求保持数据点的内在几何性质，即保持两点间的测地距离，不是欧式距离。 Isomap = MDS + 测地距离 Isomap Isomap 应用 应用 应用 应用 Laplacian Eigenmap M.Belkin and P.Niyogi Laplacian eigenmaps and spectral techniques for embedding and clustering NIPS 2001 Laplacian Eigenmap Laplacian Eigenmap 主要思想的数学表达： Laplacian Eigenmap LPP 何晓飞等人, 在Laplacian Eigenmap的基础上，提出了局部保留投影（Locality Preserving Projection）算法，得到了一个显式的投影映射。 “Learning a locality preserving subspace for visual recognition”, ICCV, 2003 “Locality preserving projections”, Advances in Neural Information Processing Systems, 2003 LPP LPP 应用 小结 主要思想： 在高维空间中离得很近的点投影到低维空间中的象也应该离得很近. 令样本集： 投影后样本： LE的目标是最小化目标函数： 这里权值反映样本之间的关系，一般用热核表示： 也可以简单定义成1（节点i和j相邻）或0（不相邻） 为了使最小化问题解唯一，必须加上尺度归一的限制条件，目标函数变为: 这里L=D-W被称为Laplacian矩阵 是对