聚类分析—层次聚.pptVIP

节点分裂 插入新节点后，可能有些节点的孩子数大于了B（或L），此时该节点要分裂。对于Leaf，它现在有L+1个MinCluster，我们要新创建一个Leaf，使它作为原Leaf的兄弟结点，同时注意每新创建一个Leaf都要把它插入到双向链表中。L+1个MinCluster要分到这两个Leaf中，怎么分呢？找出这L+1个MinCluster中距离最远的两个Cluster（根据D2），剩下的Cluster看离哪个近就跟谁站在一起。分好后更新两个Leaf的CF值，其祖先节点的CF值没有变化，不需要更新。这可能导致祖先节点的递归分裂，因为Leaf分裂后恰好其父节点的孩子数超过了B。Nonleaf的分裂方法与Leaf的相似，只不过产生新的Nonleaf后不需要把它放入一个双向链表中。如果是树的根节点要分裂，则树的高度加1。 * Birch算法的阶段： ???阶段一：扫描数据库，构造一颗CF树，并定义相关阈值，把稠密数据分成簇。 ???阶段二：对CF树进行压缩，通过改变T值，将部分簇进行压缩合并，建立一个更小的CF树。 ???阶段三：采用其他的聚类算法对其叶节点进行聚类，将稀疏的簇当作离群值进行删除，补救由于输入顺序和页面大小带来的分裂。 ???阶段四：通过上阶段得出聚类质心，将其作为种子节点，将其他对象分配给质心，构成新的聚类。 * BIRCH算法流程如下图所示： ?? ??BIRCH算法流程如下图所示： ???????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????? * BIRCH (续) 重建过程从旧树的叶子节点建造一个新树。这样，重建树的过程不需要重读所有的对象 ----建树只需读一次数据 在阶段三和四采用任何聚类算法，例如典型的划分方法 BIRCH的性能 支持增量聚类：因为它对每一个数据点的聚类的决策都是基于当前已经处理过的数据点，而不是基于全局的数据点。 线性可伸缩性: 计算复杂性O(n), 单遍扫描, 附加的扫描可以改善聚类质量 较好的聚类质量 缺点 只能处理数值数据 对数据的输入次序敏感 CF树结点不总是对应于[用户考虑的]自然簇(参数B和T) 簇非球形时效果不好(使用半径/直径控制簇边界) * CURE(1998) CURE (Clustering Using REpresentatives ) : 由 Guha, Rastogi 和 Shim提出(1998) 绝大多数聚类算法或者擅长处理球形和相似大小的聚类，或者在存在孤立点时变得比较脆弱 CURE解决了偏好球形的问题，在处理孤立点上也更加健壮 CURE采用了一种新的层次聚类算法 选择基于质心和基于代表对象方法之间的中间策略. 它不用单个质心或对象来代表一个簇, 而是选择了数据空间中固定数目的具有代表性的点 首先选择簇中分散的对象, 然后根据一个特定的收缩因子向簇中心“收缩” * CURE(续) 每个簇有多于一个的代表点使得CURE可以适应非球形的任意形状的聚类 簇的收缩或凝聚可以有助于控制孤立点的影响 CURE的优点 CURE对孤立点的处理更加健壮 能够识别非球形和大小变化较大的簇 对于大规模数据库, 它也具有良好的伸缩性, 而且没有牺牲聚类质量 针对大型数据库, CURE采用了随机取样和划分两种方法的组合 首先划分一个随机样本,每个划分被部分聚类 然后对这些结果簇聚类, 产生希望的结果 * Cure(续) CURE算法核心: 从源数据对象中抽取一个随机样本集S . 将样本S分割为p个划分, 每个的大小为 s/p 将每个划分局部地聚类成 s/pq 个簇 删除孤立点 通过随机选样 如果一个簇增长太慢, 就删除它. 对局部聚类进行聚类. 用相应的簇标签来标记数据 * CURE: 例 s = 50 p = 2 s/p = 25 x x x y y y y x y x s/pq = 5 * CURE: 例(续) 多个代表点向重心 以因子?移动, 进行收缩或凝聚 多个代表点描述了每个簇的形状 x y x y * 对分类数据聚类: ROCK ROCK(RObust