机器学习11.流形专题介绍.pptx

1;2;3;从降维问题说起;5;6;7;8;;10;;12;13;线性判别分析（LDA）;基本思想;LDA 二分类问题公式推导;假设用来区分二分类的直线（投影函数)为： 类别i的样本均值: 类别i投影后的均值为： 投影后，类别内点之间的分散程度（方差）为： 最终我们可以得到一个下面的公式，称为准侧函数。;LDA;定义： （1）样本类内离散度矩阵Si和总类内离散度矩阵;LDA;;Fisher算法步骤总结： 由Fisher线性判别式 求解向量 的步骤： ① 把来自两类 的训练样本集 分成 和 两个子集 和 。 ② 由 ，i=1,2 ，计算 mi。 ③ 由 计算投影后各类的类内离散度矩阵 ④ 计算类内总离散度矩阵 ⑤ 计算 Sw 的逆矩阵 。 ⑥ 由 求解w* 。;月份/年龄;经典Fisher线性判别分析方法;;LDA;LDA;Sw奇异问题的解决方法：;R-LDA;为了保证Sw是非奇异矩阵,需要t+c个训练样本,当特征维数t特别大时,在实际应用中往往难以满足要求。 为了解决训练样本不够的情况, 提出了中间过渡子空间:即先将t维的高维空间经过PCA降到f维的过渡子空间,再在此空间进行LDA变换,得到最终的g维子空间。 更确切地说,可以表示为：;N-LDA;N-LDA计算最优投影方向矩阵的方法如下：;③将原始数据集投影到此零空间中，计算零空间内数据集的类间散布矩阵SB′：;N-LDA从Sw的零空间null(Sw )中寻求最优投影方向，在某些情况下，N-LDA求得的这个投影方向可以保证数据集在投影后的低维空间中类内散布值最小，但却不能保证类间散布值和类内散布值之比达到最大，或者说N-LDA求得的这个最优投影方向并不是实际最优的。 这种现象产生的根本原因是N-LDA只从而的零空间null(Sw )中寻求最优投影方向，抛弃了品的非零空间range(Sw ) ，而事实是在一些情况下最优投影方向却恰恰存在于此品的非零空间range(Sw ) 。;D-LDA; D-LDA算最优投影方向矩阵的方法如下：;③对Sw′进行奇异值分解：; D-LDA抛弃SB的零空间null(SB)，而从其非零空间range(SB)中寻求最优投影方向。与N-LDA面临的问题相同，在某些情况下，D-LDA求得的这个投影方向只能保证数据集在投影后的低维空间中类间散布值不是最小的情况下类内散布值最小，而不能保证两者比值达到最大值，因为在一些特殊情况下，最优投影方向也可能正位于SB的零空间null(SB) 中。 同时，D-LDA需要频繁的在SB的非零空间range(SB)内进行各项矩阵运算，这导致其计算量过大，因而不适合实际应用。;中国科学院自动化研究所;42;43;;;;;48;49;50;51;52;53;54;55;;流形学习和维数约简;流形学习的可行性;59;;;62;63;64;65;流形学习的一些数学基础; 集合 上的拓扑 是 的满足以下性质的子集族: 对属于它的任意多元素的并集是封闭的; (ii) 对属于它的有限多元素的交集是封闭的; 且 , 称 是一个拓扑空间.; 如果对空间 中的任意两点 存在 和 使得 称 是一个Hausdorff 拓扑空间. ;设 M 是一个Hausdorff 拓扑空间, 若对每一点 都有 P 的一个开领域 U 和 的一个开子集同胚, 则称 M 为 n 维拓扑流形, 简称为 n 维流形.;假定 是同胚, 其中 是 中的开集, 则称 为流形 M 的一个坐标卡, 并且把 在 中的坐标 称为点 的坐标,; 设 是 n 维流形 M 的两个坐标卡. 若当 时, 和它的逆映射都是 次可微的, 则称 是 相关的.; 设 M 是 n 维流形, 假定 是 M 上 坐标卡的一个子集合, 且满足以下条件: