流形学习算法分析-计算机系统结构专业论文.docxVIP

中文摘要传统的非线性维数约减算法如Isomap、LLE、SIE工作在batch模式，也就 中文摘要 传统的非线性维数约减算法如Isomap、LLE、SIE工作在batch模式，也就 是在进行嵌入时所有的采样点必须是可用的。当采样点以流的形式到达时，使用 上述算法处理增量点很耗时，每到达一个点都要重复运行一次batch模式的算 法。另外，当前的非线性维数约减算法需要求解大尺度的特征值问题，或需要计 算全局的测地线距离。两者都是二次的复杂度，计算开销较大，在大样本集情形 下应用较受限制。 针对增量点的问题，本文提出AISIE算法来处理增量点。算法假设采样点和 它的适应性邻域集[3]能反映它们所在位置的局域主方向。对增量点进行处理时， 基于适应性邻域选择算法首先判断它是否为噪声点，然后在SIE框架下只需更新 锚点到其它点的测地线距离和增量点的邻域点到其它点的测地线距离，复杂度近 似线性。 为了避免求解大尺度特征值问题以及避免计算全局的测地线距离，本文提出 线性区域嵌入拼接算法LLI。通过求解最优化问题将两个相邻线性区域的嵌入结 果拼接到—起。介绍了一种流形划分方法，对流形进行划分后确保每个子区域是 近似线性的，并且区域之间存在公共点，复杂性为线性。LLI算法中最优化问题 的求解依赖于相邻区域的公共点数g。当g≥d时(d为嵌入维)LLI解决无约束最 优化问题，拼接两片的复杂性为0(d3)；gd时可以添加一些伪点，或者求解 二次约束最优化问题将两区域的嵌入拼接到一起，本文采用添加伪点的方法。LLI 算法拼接所有分片嵌入结果的复杂性为0(k棚+m知+m幸d3)，m为分片数目远小于 样本点数n，k为最大分片包含的点数。结合分片算法的总复杂性为 O(T·n·m·log(m)+m·n+k*n+rn幸d’)为线性复杂性。 关键词： 流形学习局域主方向适应性邻域选择公共点最优化问题 Traditional Traditional nonlinear dimensionality reduction algorithms e．g．ISOMAP LLE SIE works in batch mode．It means that al data points need to be available during embedding．When data points arrive sequentially,batch mode methods are computationally expensive．At the same time，the traditional dimensionality reduction algorithms need to solve large-scale eigenvahes problems or compute geodesic distances，both is of quadratic complexity oftime．The quadratic complexity limits the applicability of algorithms in the case of large·size sampling sets． In order to process incremental data points，we propose AISIE algorithm． Assuming that sampling po缸of tmderlying manifold and its adaptive neighbors can preserve the principal directions of the regions that they reside on，our algorithm need only update the geodesic distances between anchors and all other points，as well as distances between neighbors of incremental points and all other points when a new point arrives．Under the above assumption，our algorithm can realize an approximate linear time complexity embedding。of incremental points and effectively仃adeoff embedding precision and time cost． We propose LLI algorithm，obtain embeddings without sol