9.1 数据降维.pptVIP

线性方法: (PCA) PCA的目的：寻找能够表示采样数据的最好的投影子空间. PCA的求解：对样本的协方差矩阵进行特征值分解, 所求子空间为过样本均值, 以最大特征值所对应的特征向量为方向的子空间. Principal component 线性方法的不足 数据特征并不具备简单性 例如: PCA 不能发现螺旋型数据，适合高斯分布 KPCA或许能解决主曲线问题，但曲面，立体？ 1 许多高维采样数据都是由少数几个隐含变量所决定的, 如人脸采样由光线亮度, 人离相机的距离, 人的头部姿势, 人的脸部肌肉等因素决定. 2 从认知心理学的角度, 心理学家认为人的认知过程是基于认知流形和拓扑连续性的. R 流形（Manifold） 局部线性嵌入(LLE). S. T. Roweis and L. K. Saul. Nonlinear dimensionality reduction by locally linear embedding. Science, vol. 290, pp. 2323--2326, 2000. 等距映射(Isomap). J.B. Tenenbaum, V. de Silva, and J. C. Langford. A global geometric framework for nonlinear dimensionality reduction. Science, vol. 290, pp. 2319--2323, 2000. 拉普拉斯特征映射(Laplacian Eigenmap). M. Belkin, P. Niyogi, Laplacian Eigenmaps for Dimensionality Reduction and Data Representation. Neural Computation, Vol. 15, Issue 6, pp. 1373 –1396, 2003 .? 流形（Manifold）-几种方法 前提假设：采样数据所在的低维流形在局部是线性的,即每个采样点可以用它的近邻点线性表示. 学习目标：在低维空间中保持每个邻域中的权值不变, 即假设嵌入映射在局部是线性的条件下, 最小化重构误差. 流形（Manifold）-LLE 假设即策略 采样数据所在的低维流形在局部是线性的,即每个采样点可以用它的近邻点线性表示. 在低维空间中保持每个邻域中的权值不变。 流形（Manifold）-LLE 1. 计算每一个点 的近邻点, 一般采用K 近邻或者 邻域. 2 .计算权值 使得把 用它的K个近邻点线性表示的误差最小, 即通过最小化 来求出 . 3 .保持权值 不变, 求 在低维空间的映射 , 使得低维重构误差最小. 流形（Manifold）-LLE 最小化重构误差 1. 计算每一个点 的近邻点（可采用K-NN的方法）. 2 .对于点 和它的近邻点的权值 , 最小化 得到： 流形（Manifold）-LLE 求解 3. 求解低维流形嵌入 流形（Manifold）-LLE 求解 目标函数： 中心化、归一化： 转化为求特征值与特征向量的问题，用PCA求解，低维嵌入Y是 M 的最小 k 个特征值对应的特征向量. 单位协方差矩阵 流形（Manifold）-LLE 最小化重构误差 流形学习作为一种非线性降维或数据可视化的方法 已经在图像处理如人脸图像,手写数字图像, 语言处理 方面得了利用. 将其作为一种监督的学习方法用于模式识别, 虽然 有研究者涉足, 但是目前在这方面的工作还很有限. 流形（Manifold） Tenenbaum根本不是做与数据处理有关算法的人，他是做计算认知科 学（computational cognition science）的。在做这个方法的时候，他还在stanford，2年就去了MIT开创一派，成了掌门人，他的组成长十分迅速。但是有趣的 ,在Isomap之后，他包括他在MIT带的学生就从来再也没有做过类似的工作。 他在参加 UCLA Alan Yuille 组织的一个summer school上说，我们经常忘了做研究的原始出发点是什么。他做Isomap就是为了找一个好的visual perception的方法，他还坚持了他的方向和信仰，computational cognition，他没有随波逐流。而由他引导起来的 manifold learning 却快速的发展成了一个新的方向。  流形（Manifold）