多维尺度变换(MDS).ppt

  1. 1、本文档共71页,可阅读全部内容。
  2. 2、原创力文档(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
  3. 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载
  4. 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
查看更多
多维尺度变换(MDS)

* Laplacian Eigenmap实验结果(1) * 300 most frequent words of the Brown corpus represented in the spectral domain Laplacian Eigenmap实验结果(2) * Laplacian Eigenmap实验结果(2) The first is exclusively infinitives of verbs, the second contains prepositions and the third mostly modal and auxiliary verbs. We see that syntactic structure is well-preserved. * 代表性算法-3 LE (Laplacian Eigenmap) 优点 算法是局部非线性方法,与谱图理论有很紧密的联系. 算法通过求解稀疏矩阵的特征值问题解析地求出整体最优解,效率非常高 算法使原空间中离得很近的点在低维空间也离得很近, 可以用于聚类 缺点 同样对算法参数和数据采样密度较敏感 不能有效保持流形的全局几何结构 * 提纲 研究背景 基本知识介绍 经典方法概览 总结讨论 * 经典方法小结 优点 非参数:不需要对流形的很多参数作假设 非线性:基于流形内在几何结构,体现现实数据的本质 求解简单:转化为求解优化问题,通常采用特征值分解,而不需要采用迭代算法 缺点 对观察数据存在流形结构的假设 需要调节较多的算法参数,如k-NN的邻域参数k 对数据采样稠密性、均匀性以及噪声数据的敏感性 * 研究难点与未来方向 如何进行统一有效的定量化评估 真实数据 vs. 人工数据 理论分析依据 评估指标:一致性,收敛率,稳定性,复杂度… 如何求解测试数据的out-of-sample问题 线性近似 回归方法 如何确定低维目标空间的维数 如何进行监督式推广应用于分类问题 * 参考文献 Roweis, S. T. and L. K. Saul (2000). Nonlinear dimensionality reduction by locally linear embedding Science 290(5500): 2323-2326. Tenenbaum, J. B., V. de Silva, et al. (2000). A global geometric framework for nonlinear dimensionality reduction Science 290(5500): 2319-2323. Vlachos, M., C. Domeniconi, et al. (2002). Non-linear dimensionality reduction techniques for classification and visualization. Proc. of 8th SIGKDD, Edmonton, Canada. de Silva, V. and Tenenbaum, J. (2003). “Global versus local methods for nonlinear dimensionality reduction”, Advances in Neural Information Processing Systems,15. Law, Martin. Nonlinear Dimensionality Reduction and Manifold Learning. 2005. Lin, Zhouchen. A Glance over Manifold Learning. 2008. 杨剑. 流形学习问题. 2004. * 感谢各位老师同学! * * * MDS的准则函数 * MDS的示意图 * MDS的失效 * 测地线: 流形上连接两个点的最短曲线 例如:球面上的测地线就是球面上的大圆弧 测地距离:测地线的长度 A B Figure from /GreatCircle.html 测地距离 * ISOMAP算法流程 1 计算每个点的近邻点 (用K近邻或 邻域). 2 在样本集上定义一个赋权无向图 如果 和 互为近邻点, 则边的权值为 3 计算图中两点间的最短距离, 记所得的距离矩阵为 . 4 用MDS求低维嵌入坐标 , 令 低维嵌入是 的第1大到第 d大的特征值所对应的特征向量. * M. Bernstein, V. Silva, J.C. Langford, J.B. Tenenbaum 证明了如下的渐进收敛定理

您可能关注的文档

文档评论(0)

ligennv1314 + 关注
实名认证
内容提供者

该用户很懒,什么也没介绍

1亿VIP精品文档

相关文档