twostep两步法聚类详解分析.docxVIP

TWOSTEP两步法聚类详解分析 系统平台部 经营分析组 2012-10-10 第一步完成简单数据处理，以便将原始输入数据压缩为可管理的子聚类集合。 第二步使用层 级聚类方法将子聚类一步一步合并为更大的聚类。 TwoStep具有一个优点，就是能够为训练 数据自动估计最佳聚类数。 第一步用到的算法 -BIRCH： Bala need Iterative Reduci ng and Clusteri ng using Hierarchies 优点：适合大的数据集，最小化运行时间和数据扫描 在一个类中，给定 N个d维的数据点：{}，其中i=1,2,3 ???.,N,则 CF={ N,L S,SS} CF ( Clustering Feature):包含簇信息的三元组，其中N是类中数据点的数量， LS是N个数 据点的线性求和，SS是 N个数据点的平方和，一个 CF向量有足够的信息去计算相似度 。 可以直接求和： CF1 + CF2 = (N1+N2, LS1+LS2, SS1+SS2) ..)■ .).■ .).■ 2 3 4 5 ￥ ? ? ? ..)■ .).■ .).■ 2 3 4 5 ￥ ? ? ? CF = (5:(16?30)?(54/190)) XI/ V)/ 4 6 5 7 8 ? ? 5 ? 5 3 2 4 4 3 x(x fv /V zt cri = (4, (10,14), 84) CF3 = CF1 十 CF2 卜ig- 2. CF Example 相似度量：给定一个实例 图心{} 相似度量：给定一个实例 图心 {},我们定义如下 X0 = 半径（每个实例跟图心的平均距离） 直径（在一个类中，成对实例的平均距离）Rcral: nodsLuf nodeC^Z)CSDC^D 直径（在一个类中，成对实例的平均距离） Rcral: nods Luf node C^Z) CSD C^D 每个中间节点至多有 每个中间节点至多有 B个子节点 每个叶节点至多有 L个CF簇，每个簇都满足阈值 T 节点大小由数据空间维度和输入参数 P决定 一个CF树有三个参数： B=分支系数，中间节点的最大子节点数量 T=叶节点中的类的半径或直径的阈值 L=叶节点的最大CF簇数量 CF树的插入算法： 1、 从根节点开始，在根节点中查找最靠近数据点的 CF簇，移动到子节点并重复该处理直到 发现一个最靠近的叶节点 CF簇。 2、 在叶节点中： A、 如果这一点能被安置在类中，则更新簇； B、 如果本次添加超过阈值 T,分裂该簇； C、 如果分裂导致簇超过阈值 L,则分裂叶节点； D、 如果它的父节点对应的子节点超过阈值 B,则分裂父节点。 3、 从根节点到叶节点更新 CF簇信息以适应这个数据点。 图表说明： 、如果一个叶节点的分支系数不能超过 3，则中间节点LN1分裂。 三、如果一个中间节点的分支系数不能超过 3，则根节点将分裂，CF树的高度增加1. 阶段1: 选择初始阈值，依照插入算法，开始一个一个的插入数据点 如果上面的插入过程中，CF树的大小超出了可用内存的大小，则增大阈值 依照变换算法，将部分建立的树数转换为新的树 重复上面的步骤直到整个数据集都被扫描过并已创建了一个完整的树。 阶段2 : 第一阶段和第三阶段的桥梁 通过增大阈值构建一个更小的 CF树 阶段3: 应用全局聚类算法，对叶节点提供的子类进行聚类 提高聚类质量 阶段4: 扫描整个数据集，给每个数据点打上标签 Data . rJbdMl. 1 n#d illtii Tri^TTmi|iv Iniildinx 门 Iwi lihiiiitl CF irw1 Plid?- ￡ (irpiioiiuL): CorKkitM^ iiiin iltv^irahlr |制厲 by bulldJiiR a ^nioUa C F trev ^iiutllpf CK in^i1 、 Phase J: (npilon?il and off line) : Chisler Roftning 例子:明\1血｛■*CFNodrtie肚■弭■ 例子: 明\1血｛■ * CFNodr tie 肚■弭 ■ !: BTN-jde 1 * :c x n k x X 1: BTXode ” B H X J 图中一个BTNode最多包含4个CFNode每个CFNode就相当于一个簇，而每个 BTNode里 面的所有CFNode相当于一个大簇。当插入一个新纪录时，是从底往上修改的，所以叶子节 点是等深的，用BLeafNode将所有叶子节点窜连起来，方便挖掘这颗B揺。还是用例子说明 吧。先插入第一条记录，用该纪录创建一个 CFNode,再用该CFNode创建一个BTNode作为 根节点。图如下： CFNodert CFN