谱聚类详细入门级摘要.ppt

Spectral Clustering 谱聚类 实例 附加：松弛问题 瑞利商 原问题是离散问题，而瑞利商计算最小值是连续问题 The reason why the spectral relaxation is so appealing is not that it leads to particularly good solutions. Its popularity is mainly due to the fact that it results in a standard linear algebra problem which is simple to solve. Spectral Clustering 谱聚类 谱聚类：是一种基于图论的聚类方法，通过对样本数据的拉普拉斯矩阵的特征向量进行聚类。 图（Graph）：由若干点及连接两点的线所构成的图形，通常用来描述某些事物之间的某种关系，用点代表事物，线表示对应两个事物间具有这种关系。 1 2 3 6 4 5 0.8 0.8 0.8 0.8 0.6 0.1 0.2 0.7 Spectral Clustering 谱聚类 概念 图的表示 表示 与 之间的关系，称作权重，对于无向图 而且 表示无向图， 表示点集，E表示边集 Spectral Clustering 谱聚类 1 2 3 6 4 5 0.8 0.8 0.8 0.8 0.6 0.1 0.2 0.7 Spectral Clustering 谱聚类 图的划分 图划分是指将图完全划分为若干个子图，各子图无交集 同子图内的点相似度高 不同子图的点相似度低 1 2 3 6 4 5 0.8 0.8 0.8 0.8 0.6 0.1 0.2 0.7 划分要求 G1 G2 Spectral Clustering 谱聚类 划分时子图之间被“截断”的边的权重和 1 2 3 6 4 5 0.8 0.8 0.8 0.8 0.6 0.1 0.2 0.7 G1 G2 损失函数 Laplacian矩阵 损失函数 定义 是一个n维向量，用来表示划分方案 Spectral Clustering 谱聚类 假设 G(V，E)被划分成 两个子图（设G有n个顶点） 其中D为对角矩阵 Spectral Clustering 谱聚类 Laplacian矩阵 再定义一个 L 矩阵 L 称为拉普拉斯矩阵，W 为权重矩阵（也称邻接矩阵），D 为度矩阵 Spectral Clustering 谱聚类 Laplacian矩阵 L为半正定矩阵（即所有特征值非负值），最小特征值为0， 且对应的特征向量为单位向量 损失函数 Spectral Clustering 谱聚类 Laplacian矩阵 图的划分问题转化为 条件最小值问题 Spectral Clustering 谱聚类 条件 1 2 3 6 4 5 0.8 0.8 0.8 0.8 0.6 0.1 0.2 0.7 1 2 3 4 5 6 1 0.0 0.8 0.6 0.0 0.1 0. 0 2 0.8 0.0 0.8 0.0 0.0 0.0 3 0.6 0.8 0.0 0.2 0.0 0.0 4 0.0 0.0 0.2 0.0 0.8 0.7 5 0.1 0.0 0.0 0.8 0.0 0.8 6 0.0 0.0 0.0 0.7 0.8 0.0 邻接矩阵W 1 2 3 4 5 6 1 1.5 0.0 0.0 0.0 0.0 0. 0 2 0.0 1.6 0.0 0.0 0.0 0.0 3 0.0 0.0 1.6 0.0 0.0 0.0 4 0.0 0.0 0.0 1.7 0.0 0.0 5 0.0 0.0 0.0 0.0 1.7 0.0 6 0.0 0.0 0.0 0.0 0.0 1.5 度矩阵D 举例 Spectral Clustering 谱聚类 1 2 3 4 5 6 1 0.0 0.8 0.6 0.0 0.1 0. 0 2 0.8 0.0 0.8 0.0 0.0 0.0 3 0.6 0.8 0.0 0.2 0.0 0.0 4 0.0 0.0 0.2 0.0 0.8 0.7 5 0.1 0.0 0.0 0.8 0.0 0.8 6 0.0 0.0 0.0 0.7 0.8 0.0 邻接矩阵W 1 2 3 4 5 6 1 1.5 0.0 0.0 0.0 0.0 0. 0 2 0.0 1.6 0.0 0.0 0.0 0.0 3 0.0 0.0 1.6 0.0 0.0 0.0 4 0.0 0.0 0.0 1.7 0.0 0.0 5 0.0 0.0