多维尺度变换(MDS).ppt

* Laplacian Eigenmap实验结果(1) * 300 most frequent words of the Brown corpus represented in the spectral domain Laplacian Eigenmap实验结果(2) * Laplacian Eigenmap实验结果(2) The first is exclusively infinitives of verbs, the second contains prepositions and the third mostly modal and auxiliary verbs. We see that syntactic structure is well-preserved. * 代表性算法-3 LE (Laplacian Eigenmap) 优点 算法是局部非线性方法，与谱图理论有很紧密的联系. 算法通过求解稀疏矩阵的特征值问题解析地求出整体最优解，效率非常高 算法使原空间中离得很近的点在低维空间也离得很近, 可以用于聚类 缺点 同样对算法参数和数据采样密度较敏感 不能有效保持流形的全局几何结构 * 提纲 研究背景 基本知识介绍 经典方法概览 总结讨论 * 经典方法小结 优点 非参数：不需要对流形的很多参数作假设 非线性：基于流形内在几何结构，体现现实数据的本质 求解简单：转化为求解优化问题，通常采用特征值分解，而不需要采用迭代算法 缺点 对观察数据存在流形结构的假设 需要调节较多的算法参数，如k-NN的邻域参数k 对数据采样稠密性、均匀性以及噪声数据的敏感性 * 研究难点与未来方向 如何进行统一有效的定量化评估 真实数据 vs. 人工数据 理论分析依据 评估指标：一致性，收敛率，稳定性，复杂度… 如何求解测试数据的out-of-sample问题 线性近似 回归方法 如何确定低维目标空间的维数 如何进行监督式推广应用于分类问题 * 参考文献 Roweis, S. T. and L. K. Saul (2000). Nonlinear dimensionality reduction by locally linear embedding Science 290(5500): 2323-2326. Tenenbaum, J. B., V. de Silva, et al. (2000). A global geometric framework for nonlinear dimensionality reduction Science 290(5500): 2319-2323. Vlachos, M., C. Domeniconi, et al. (2002). Non-linear dimensionality reduction techniques for classification and visualization. Proc. of 8th SIGKDD, Edmonton, Canada. de Silva, V. and Tenenbaum, J. (2003). “Global versus local methods for nonlinear dimensionality reduction”, Advances in Neural Information Processing Systems,15. Law, Martin. Nonlinear Dimensionality Reduction and Manifold Learning. 2005. Lin, Zhouchen. A Glance over Manifold Learning. 2008. 杨剑. 流形学习问题. 2004. * 感谢各位老师同学！ * * * MDS的准则函数 * MDS的示意图 * MDS的失效 * 测地线: 流形上连接两个点的最短曲线 例如：球面上的测地线就是球面上的大圆弧 测地距离：测地线的长度 A B Figure from /GreatCircle.html 测地距离 * ISOMAP算法流程 1 计算每个点的近邻点 (用K近邻或 邻域). 2 在样本集上定义一个赋权无向图 如果 和 互为近邻点, 则边的权值为 3 计算图中两点间的最短距离, 记所得的距离矩阵为 . 4 用MDS求低维嵌入坐标 , 令 低维嵌入是 的第1大到第 d大的特征值所对应的特征向量. * M. Bernstein, V. Silva, J.C. Langford, J.B. Tenenbaum 证明了如下的渐进收敛定理