改进的有监督的局部线性嵌入算法及实验演示.pdfVIP

文章编号：1007—1423(2014)15—0015—05 DOI：10．39696．issn．1007-1423．2014．15．004 改进的有监督的局部线性嵌入算法及实验演示 刘倩 (宁夏大学数学计算机学院，银川 750001) 摘要 ： 流形学习方法中的LLE算法可 以将高维数据在保持局部邻域结构的条件下降维到低维流形子空间中，并得到与原 样本集具有相似局部结构的嵌入向量集合。LLE算法在数据降维处理过程中没有考虑样本的分类信息。针对这些问 题进行研究．提出改进的有监督的局部线性嵌入算法 (MSLLE)，并利用MatLab对该改进算法的实现效果同LLE进行 实验演示 比较。通过实验演示表 明，MSLLE算法较 LLE算法可 以有利于保持数据点本身内部结构。 关键词 ： 数据降维：流行学习：局部线性嵌入算法 0 引言 有线性关系。如图 1所示．图(b)中的3维数据集合是 从 图(a)中的2维流形结构 中采样得到 。LLE算法在不 在科学计算中经常面临处理高维数据的问题 ．例 考虑类别标签的前提下．如何对数据进行降维，揭示高 如蛋 白质分析 、基因序列分布、星光谱分析等。若对高 维空间中数据集的全局 内部结构 图中样本点的颜色 维数据直接进行处理会造成维数灾难。因此 ，对数据进 表示通过 LLE算法映射到低维空间中的数据集合保持 行降维处理是在系统分析高维数据前必要 的处理步 的邻域关系。数据集合图(b)和(C)图中的黑色圈同一 骤 作为非线性降维方法的流形学习0-3]。使得高维非线 个样本点和邻域点在高维空间和低维空间中的邻域分 性数据降维 ．发现数据集中非线性结构，近年来受到机 布情况 LLE算法的主要思想是一个样本点可以由它 器学习和模式识别领域以及实际应用领域研究越来越 的邻近样本点的线性组合来重构 ．这组带有权重的线 多的关注 流形学习的主要 目标是在高维空间中寻找 性组合系数可以近似地表示高维空间中数据集的局部 其平滑 的低维子流形 ．并计算得到相应 的映射函数 ，以 邻域几何特征 达到数据降维的 目的 在 2000年的Science上．Roweis 和 Saul提 出LocallvLinearEmbedding4[(简称 LLE，即 局部线性嵌入)算法是基于流形学习理论的局部线性 优化算法 LLE算法 已在很多领域得到应用．例如模式 表示、可视化和数据分类等。 1 算法介绍 图 1LLE算法 的基本思想 局部线性嵌入 (LLE)算法的基本思想是样本点在 设有数据集 = ，，…，XN}其中 i∈ 。，对其使用 高维空间中虽然不具有线性结构 ．但是在局部意义下 LLE算法后得到低维嵌入数据集 y={y，y2，．．，yN)其中Y 任意一个数据点和它的邻近点在流形空间中是在一个 ∈R 。LLE算法步骤如下．具体算法流程可参照图2[221。 超平面上的．从而每个样本点与其邻域样本点之间具 。 。 。 o 条件∑ ：1约束下，使用拉格朗日乘子，计算重构权 ∞ 』=l