流形学习算法精读.ppt

基本的拉格朗日乘子法(又称为拉格朗日乘数法)，就是求函数f(x1,x2,...)在g(x1,x2,...)=0的约束条件下的极值的方法。其主要思想是引入一个新的参数λ（即拉格朗日乘子），将约束条件函数与原函数联系到一起，使能配成与变量数量相等的等式方程，从而求出得到原函数极值的各个变量的解。假设需要求极值的目标函数 (objective function) 为 f(x,y)，限制条件为 φ(x,y)=M 设g(x,y)=M-φ(x,y) 定义一个新函数 F(x,y,λ)=f(x,y)+λg(x,y) 则用偏导数方法列出方程： ?F/?x=0 ?F/?y=0 ?F/?λ=0 单位阵是单位矩阵的简称，它指的是主对角线上都是1，其余元素皆为0的矩阵。 可称nabla算子、del算子、Hamilton算子。若f是一个多元标量函数，则▽f表达一个（多元）向量函数，其中每个分量是f的一个偏导数。 Nabla尖下，delta尖上 勇于开始，才能找到成功的路 * LLE算法的求解 1.根据欧氏距离，计算每一个点 的近邻点； 2.对于点 和它的近邻点的权值 , 3.令 , 低维嵌是M的最小的第2到第d＋1个特征向量。 勇于开始，才能找到成功的路 * 计算复杂度： 选择邻域为O ( Dn2 )，计算重构