基于图的半监督聚类.pptVIP

基于图的半监督聚类 聚类方法简介 基于划分的方法 kmeans 基于层次的方法 single-link, complete-link, average-link 基于模型的方法 GMM, Competitive Learning, SOM 基于密度的方法 DBSCAN 基于图的方法 通过图的分割实现。从图中移除一些边，使图成为几个子图。 基于图的聚类 ——Grouping as graph partitioning 设图G(V,E,W)能分割为A,B两个不相连的集合。图的分割也就是移除两个子集中相互连接的边的过程。这两个子集的相似度可以用所有移除边上的权重来表示。 在图论中，将这种分割的损失函数称之为“cut” 简单说来，一个图最优的分割就是使得cut值最小的那一个。 图聚类示例 cut = 0.4 cut = 0.8 cut = 0.8 例2 例1 Normalized Cut 由于cut值的局限性，引入归一化因子，也即，某类中的点与图中所有相连点的相似度之和。 推广到多类问题中，则有如下的损失函数： 基于Normalized Cut的文本聚类 用无向图G(V,E,W)来描述一个文档集V 顶点集V中的每个元素就是一篇文档；边集E表示文档与文档间的相似关系；W为对称矩阵，Wij为文档i和文档j的相似度。 设Ci, Cj为两个文档类，令S(Ci, Cj)为两个文档类之间的相似性 文本中Normalized Cut的损失函数 损失函数的分子表示某类文本和其他文本的相似程度，分母则表示该类文档在整个文档集中的紧密程度。 最优的聚类就是使FNC取最小值的划分 Normalized Cut的最优化过程(1)  ——文本类别指示矩阵X 设文档集V中有k类N个文本；X为文本类别指示向量X=[X1,…,Xk]，大小为N×k。具体地，xij的值为0或1，1表示第j篇文档属于第i类，反之则为0。 例：V中有5篇文档，可以分为3类。其中，v1,v2属于一类，v3,v4属于一类，v5单独为一类，X如右所示。 对角矩阵D的定义 定义对角矩阵D满足：D*e=W*e，其中e=[1,…,1]’。也即，W的每行值的和为D该行元素的值。 Normalized Cut的最优化过程（2） ——损失函数的矩阵表示形式 损失函数的矩阵表示如下 Normalized Cut的最优化过程（3） ——优化问题的转换 Normalized Cut聚类过程 1.对文档集建立相似度矩阵W； 2.根据W计算出对角矩阵D，使其满足 其中 ； 3.计算矩阵 最大的k个特征值 对应的特征向量Y。其中，Y是连续值，是X的估计量； 4.将Y离散化，得到类别结果矩阵X。 Normalized Cut聚类过程示例(1) 输入短信4条，分为2类，其内容为 “我挂科没，尤其是英语，我老怕考试了” “期末考试成绩出来没？我哪科最低啊” “在办公室啊，不闷吗，出来聊聊” “还在呢！没下班闷也没办法” 采用余弦相似度，得到相似度矩阵W Normalized Cut聚类过程示例(2) 得到 的2个最大的特征值对应的特征向量Y 将Y离散化得到聚类结果X Normalized Cut的改良  ——引入先验知识引导聚类 假设用户指定一些文档的类别信息，例如文档i, j属于同一类。那么这个先验知识可以表示为， 其中uki=1,ukj=-1,Uk中其余元素均为0。 将所有已知类别的m对文档信息用描述成一个矩阵U，大小为m*N。 先验知识的表示——例 设文档集V中有5篇文档，假设已知v1,v2是同类别的，那么就可以将这个知识表示成向量U 若X为文档真实的类别指示向量，则有 加入先验知识的损失函数FCNC 将加入先验知识的损失函数constraint Normalized Cut写成如下的形式 其中参数β0，可以控制先验知识的强度。 与前述相似，聚类的优化问题转换成求损失函数FCNC的最小值。 损失函数的最小值求解过程 Normalized Cut with prior