2014.7.3流形学习研究算法研究.ppt

勇于开始，才能找到成功的路 * LLE算法的求解 1.根据欧氏距离，计算每一个点 的近邻点； 2.对于点 和它的近邻点的权值 , 3.令 , 低维嵌是M的最小的第2到第d＋1个特征向量。 勇于开始，才能找到成功的路 * 计算复杂度： 选择邻域为O ( Dn2 )，计算重构权值矩阵O (( D + k ) k2 n)，求解低维嵌入Y 为O ( dn2 )。 优点 算法可以学习任意维的局部线性的低维流形 算法归结为稀疏矩阵特征值计算，计算复杂度相对较小 LLE算法的分析 缺点 算法所学习的流形只能是不闭合的 算法要求样本在流形上是稠密采样的 算法对样本中的噪声和邻域参数比较敏感 勇于开始，才能找到成功的路 * LE (Laplacian Eigenmap) 2002年，Belkin 和Niyogi 基本思想：在高维空间中离得很近的点投影到低维空间中的象也应该离得很近。 求解方法：利用流形上Laplacian-Beltrami算子的特征函数 三、典型算法分析---LE 勇于开始，才能找到成功的路 * 流形Laplacian-Beltram算子:一般记作 （delta） 定义：设 M 是光滑的黎曼流形,f是 M 上的光滑函数, （nabla算子）是f的梯度, 则称 为 M 上的拉普拉斯算子, 其中div是散度算子。 函数 ??????????????????????????的梯度为： ????????????????????????????????????????????????? 梯度的负散度函数 f 的拉普拉斯算子是笛卡儿坐标系中的所有非混合二阶偏导数： ????????????????????? 二维空间 ????????? 三维空间 ????????? 根据谱图理论，如果数据均匀采样于高维空间中的低维流形，那么可以用图的Laplacian矩阵去逼近流形上Laplacian-Beltrami算子，进而可以用图的Laplacian的特征向量去逼近流形上Laplacian-Beltrami算子的特征函数(Belkin and Niyogi, 2003)。 勇于开始，才能找到成功的路 * Laplacian Eigenmap 算法流程 1.构建近邻图, (K近邻或 邻域)。 2.给每条边赋予权值 3.LE的目标函数为极小化如下损失函数，即确保原来相邻的样本点投影后仍为近邻 4.对任何Y有 ，其中Y为Laplacian矩阵，D为对角矩阵，元素为权值矩阵的列和，即 ,LE算法的优化问题转化为 低维嵌入Y取Laplacian矩阵的最小d+1个特征值对应的特征向量，即 边i和边j相连 边i和边j不相连 勇于开始，才能找到成功的路 * 代表性算法-3 LE (Laplacian Eigenmap) 优点 算法是局部非线性方法，与谱图理论有很紧密的联系. 算法通过求解稀疏矩阵的特征值问题解析地求出整体最优解，效率非常高 算法使原空间中离得很近的点在低维空间也离得很近, 可以用于聚类 缺点 同样对算法参数和数据采样密度较敏感 不能有效保持流形的全局几何结构 总结 研究背景 理论基础 典型算法 * 流形学习名称的由来：这类算法的目的是为了发现嵌入在高维空间中的低维流形，所以叫流形学习 * * 把图像中每一个像素看成是一维信息，那么一副图像就是N2维的向量。 线性维数约简方法通过对所有特征的线性组合来降维，计算简单，易于理解， 对于具有线性结构分布的数据集，它们往往具有较好的降维效果，且在压缩、降 噪以及数据可视化等方面被证明是非常有效的。然而现实世界中所获得的真实数 据集更多的呈现出结构非线性或属性强相关性，如图像数据、音视频数据、文本 数据和生物数据等。线性维数约简方法的线性本质使其无法发现复杂的非线性数 据的内在本质结构。 * 诸如图像数据、音视频数据、文本数据和生物数据等 该算法是对人脑神经 元“有序排列以及对外界信息的连续映射”特性的一种模拟，SOM 实际上是一个 两层神经网络，输入层模拟感知外界输入信息的视网膜，用于接收外界刺激（即 输入样本），所在空间称为原空间或样本空间；输出层模拟做出响应的大脑皮层， 往往组织成网格形式，称为输出网格，这是一个低维空间，该空间中的每个结点 （即输出神经元）在输出网格中都有确定的位置，同时也保存一个与输入样本具 有相同维度的权向量。 感知的流形方式 * 76×101×3 像素，这些图像可以表示为 76×101×3=23028 维向 量空间中的点。Friedman 指出，要使智能机器系统具有一定的泛化能力