流形上的非线性判别K均值聚类.docVIP

流形上的非线性判别K均值聚类 　　?フ? 要:为提高具有流形结构的高维数据的聚类性能，提出非线性判别??K??均值聚类算法(NDisKmeans)。该方法通过引入流形上的谱正则化技术，将数据的低维嵌入表示成数据流形上平滑函数的线性组合，然后通过最大化低维空间中聚类类间的散度与总体散度的比值，来实现对高维数据的聚类。还设计了一种收敛的迭代求解方法来求解最优组合系数矩阵和聚类赋值矩阵。NDisKmeans方法由于考虑了数据的流形结构，??克服了判别K均值算法中线性映射的不足，??从而提高了对高维数据聚类的性能。最后在数据集上的广泛实验表明，NDisKmeans方法能有效实现对高维数据的聚类。 　　?ス丶?词:聚类; 流形; ??K均值聚类；??谱正则化；谱聚类 　　 　　?ブ型挤掷嗪?: TP311.13 文献标志码:A 　　 　　Abstract: In order to improve the performance of clustering algorithm on high dimensional data by using the manifold structure, a novel clustering algorithm called Nonlinear Discriminant ??K????means Clustering (NDisKmeans) was proposed. By introducing the spectracl regularization technology, NDisKmeans first represented the desired low dimensional coordinates as linear combinations of smooth vectors predefined on the data manifold; then maximized the ratio between inter??clusters scatter and total scatter to cluster the high dimensional data. A convergent iterative procedure was devised to solute the matrix of the combination coefficient and clustering assignment matrix. NDisKmeans overcomed the limitation of linear mapping of DisKmeans algorithm; therefore, it significantly improved the clustering performance. The systematic and extensive experiments on UCI and real world data sets show the effectiveness of the proposed NDisKmeans method. 　　Key words: clustering; manifold; ??K????means clustering; spectral regularization；spectral clustering 　　?? 　　0 引言?? 　　在模式识别、计算机视觉和数据挖掘等领域的很多实际问题中，都涉及到对高维数据的处理。由于高维数据的稀疏性，现有数据聚类算法直接对高维数据进行聚类，效果仍不能令人满意????［1］??。?? 　　针对高维数据的聚类问题，目前存在两类比较流行的处理方法。一类是先采用维数归约方法对数据降维后，再利用现有的聚类算法如??K?Ь?值聚类等对数据进行聚类，如文献［2-3］中提出的自适应的维数归约方法，这类方法存在的一个突出问题是现有的高维数据的维数归约方法并不是针对数据的聚类任务而设计，也即维数归约方法和聚类算法在目标上存在天然的隔阂????［4-7］??，从而导致在降维过程中，原始数据的聚类结构不能较好地保持，甚至会受到破坏，从而直接影响到最后聚类算法在获取的低维数据上的聚类性能????［8］??。?? 　　另一类方法是将线性维数归约方法和对高维数据的聚类融合到同一个过程中，同时实现对高维数据的线性降维和聚类，代表性的方法有判别??K??均值聚类(DisKmeans)????［9］??和谱嵌入聚类????［10］??等。这类方法由于在对数据进行维数归约时，考虑了对数据的聚类任务，因此最后能提高对高维数据的聚类性能。然而由于是采用线性维数归约方法，当数据存在非线性的流形结构时，这类方