流形学习算法研究剖析.pptVIP

基本的拉格朗日乘子法(又称为拉格朗日乘数法)，就是求函数f(x1,x2,...)在g(x1,x2,...)=0的约束条件下的极值的方法。其主要思想是引入一个新的参数λ（即拉格朗日乘子），将约束条件函数与原函数联系到一起，使能配成与变量数量相等的等式方程，从而求出得到原函数极值的各个变量的解。假设需要求极值的目标函数 (objective function) 为 f(x,y)，限制条件为 φ(x,y)=M 设g(x,y)=M-φ(x,y) 定义一个新函数 F(x,y,λ)=f(x,y)+λg(x,y) 则用偏导数方法列出方程： ?F/?x=0 ?F/?y=0 ?F/?λ=0 单位阵是单位矩阵的简称，它指的是主对角线上都是1，其余元素皆为0的矩阵。 可称nabla算子、del算子、Hamilton算子。若f是一个多元标量函数，则▽f表达一个（多元）向量函数，其中每个分量是f的一个偏导数。 Nabla尖下，delta尖上 勇于开始，才能找到成功的路 * LLE算法的求解 1.根据欧氏距离，计算每一个点 的近邻点； 2.对于点 和它的近邻点的权值 , 3.令 , 低维嵌是M的最小的第2到第d＋1个特征向量。 勇于开始，才能找到成功的路 * 计算复杂度： 选择邻域为O ( Dn2 )，计算重构权值矩阵O (( D + k ) k2 n)，求解低维嵌入Y 为O ( dn2 )。 优点 算法可以学习任意维的局部线性的低维流形 算法归结为稀疏矩阵特征值计算，计算复杂度相对较小 LLE算法的分析 缺点 算法所学习的流形只能是不闭合的 算法要求样本在流形上是稠密采样的 算法对样本中的噪声和邻域参数比较敏感 勇于开始，才能找到成功的路 * LE (Laplacian Eigenmap) 2002年，Belkin 和Niyogi 基本思想：在高维空间中离得很近的点投影到低维空间中的象也应该离得很近。 求解方法：利用流形上Laplacian-Beltrami算子的特征函数 三、典型算法分析---LE 勇于开始，才能找到成功的路 * 流形Laplacian-Beltram算子:一般记作 （delta） 定义：设 M 是光滑的黎曼流形,f是 M 上的光滑函数, （nabla算子）是f的梯度, 则称 为 M 上的拉普拉斯算子, 其中div是散度算子。 函数 ??????????????????????????的梯度为： ????????????????????????????????????????????????? 梯度的负散度函数 f 的拉普拉斯算子是笛卡儿坐标系中的所有非混合二阶偏导数： ????????????????????? 二维空间 ????????? 三维空间 ????????? 根据谱图理论，如果数据均匀采样于高维空间中的低维流形，那么可以用图的Laplacian矩阵去逼近流形上Laplacian-Beltrami算子，进而可以用图的Laplacian的特征向量去逼近流形上Laplacian-Beltrami算子的特征函数(Belkin and Niyogi, 2003)。 勇于开始，才能找到成功的路 * Laplacian Eigenmap 算法流程 1.构建近邻图, (K近邻或 邻域)。 2.给每条边赋予权值 3.LE的目标函数为极小化如下损失函数，即确保原来相邻的样本点投影后仍为近邻 4.对任何Y有 ，其中Y为Laplacian矩阵，D为对角矩阵，元素为权值矩阵的列和，即 ,LE算法的优化问题转化为 低维嵌入Y取Laplacian矩阵的最小d+1个特征值对应的特征向量，即 边i和边j相连 边i和边j不相连 勇于开始，才能找到成功的路 * 代表性算法-3 LE (Laplacian Eigenmap) 优点 算法是局部非线性方法，与谱图理论有很紧密的联系. 算法通过求解稀疏矩阵的特征值问题解析地求出整体最优解，效率非常高 算法使原空间中离得很近的点在低维空间也离得很近, 可以用于聚类 缺点 同样对算法参数和数据采样密度较敏感 不能有效保持流形的全局几何结构 总结 研究背景 理论基础 典型算法 * 流形学习名称的由来：这类算法的目的是为了发现嵌入在高维空间中的低维流形，所以叫流形学习 * * 把图像中每一个像素看成是一维信息，那么一副图像就是N2维的向量。 线性维数约简方法通过对所有特征的线性组合来降维，计算简单，易于理解， 对于具有线性结构分布的数据集，它们往往具有较好的降维效果，且在压缩、降 噪以及数据可视化等方面被证明是非常