第三讲 两步聚类算法与应用 (Two-step cluster).pdfVIP

CLEMENTINE12.0CLEMENTINE12.0 TWOTWO STEPSTEP （（二阶段二阶段）） TWO STEP背景与概论 此处介绍的TwoStep是二阶段群集算法 （Two StepCluster ）的简写。 二阶段群集算法（Two StepCluster ）是一 种分层群集算法 （HierarchicalAlgorithms），目前多用于资 料采矿与多元统计的交叉领域，其算法适 用于任何尺度的变数。此种算法主要处理 非常大的数据，可自动确定类的数目，能 够处理连续变量和分类变量的混合数据。 TwoStep算法是分前后两步进行的，也即 “二阶段”的意义所在。 TWO STEP 的演算过程 第一步：准群集过程 第一步使用的是分层群集中针对大样本群集产 生的BIRCH （Balance Iterative Reducing and Clustering usingHierarchies ）算法，分成许多子类 （sub-cluster）。该算法是传统分层群集算法 的改进，其实质是把层次群集方法与其他群集方 法相结合的多阶段群集。 TWO STEP的演算过程 第二步：具体的群集分析 这一步使用对数似然函数作为距离测量公式， 利用第一步的结果对每个样本进行再次群集， 对在一定的范围的每个群集成员计算一些判别 值（如AIC或BIC），并用来估计类的最初数目。 我们常用的算法是分层群集算法（Hierarchical Cluster ）。 TWO STEP的演算假设 Two Step算法的前提假设： 1．变量之间不存在多重共线性。 2．变量服从常态分配 AIC BIC AIC与BIC之比较： AIC：赤池讯息准则(Akaike’s Information Criterion, AIC) BIC：贝氏讯息准则(Bayesian Information Criterion, BIC) 在预测能力上的优劣之辩。当数据来自无穷阶自回 过程时，AIC具有预测的渐近有效性而BIC则无；另外 一方面，当数据来自有限阶的自回过程时，BIC具有 渐近有效性而AIC则无。然而，由于自回过程之阶数 是否为有限，实际上无法得知，该用AIC或BIC来选模。 TWO STEP NODE TWO STEP FIELDS Use custom setting : Target :欲分类 之变数 Inputs :用以建 模之变数 TWO STEP MODEL Standardize numericfields：二 阶段本身的设定， 会将所有数值的字 段用相同的尺度， 平均数为0，变异 数为1将之标准化。 Exclude outliers ： 选择这一个选项， 会将离群值排除在