聚集式聚类分析方法及其应用.pdfVIP

第 卷第 期 16 4 华 东 船 舶 工 业 学 院 学 报（自然科学版） Vo1. 16 No .4 年 月 2002 08 （ ） Aug . 2002 JournaI of East China Shi buiIkin Institute NaturaI Science Ekition p g 文章编号： （ ） 1006 - 1088 2002 04 - 33 - 05 聚集式聚类分析方法及其应用 黄永锋，刘同明 （华东船舶工业学院 电子与信息系，江苏 镇江， ） 2 12003 摘 要：基于层次聚类算法，提出一种聚集式聚类模型及其算法，实现了分布式异构数据库的聚类分 析。该方法使网络传输数据量显著减少，并大大提高聚类效率。 关键词：分布式数据库；数据挖掘；层次聚类；同构；异构 中图分类号： 文献标识码： T P311. 133 . 1 A ! 引 言 由于网络技术、特别是Internet 的发展，以及数据传输量、安全性、私有性等原因，显然不能把分布在 各网络节点中的所有数据集中到一个节点上进行挖掘，也不能采用原先的单数据源挖掘体系结构和算 ［］ 1 法 。目前，分布式数据挖掘研究的共识是，先在各计算节点上完成局部数据挖掘，最后根据局部模型生 成全局模型。文献［ ］已经提出了许多聚类方法，研究重点和难点是如何使这些聚类算法适用于分布 2 ~ 4 式环境。文献［］提出了同构分布式数据源的聚类挖掘，本文提出一种基于网络分布的异构数据源的聚集 5 式层次聚类方法，这种方法无需将待挖掘的数据全部送至中心适配器（ ），而是在各个网络节点上， faciIitator 采用层次聚类方法对本地数据进行聚类，然后将局部聚类结果送至faciIitator，再利用聚集式数据挖掘方法 分析局部模型，最后生成全局聚类模型。本文主要讨论如何生成全局的数据挖掘模型。 ［］ 层次聚类方法# 设有 个样本，每个样本有 个分量。把每一个样本视为 维欧氏空间中的一个点，则两个样本之 p n n 间的距离可以定义为n 维空间两点之间的距离。聚类用广义距离表示数据间的接近程度，可用任一种范 数来定义，这里取欧几里德范数，即 2 2 2 （，） （ ） （ ） … （ ） （ ） d x y = ! x 1 - y 1 + x 2 - y 2 + + x n - yn 1 T T 式中 （ ， ，…， ）， （ ， ，…， ）。 x = x 1 x 2 x n y = y 1 y 2 yn 层次聚类的基本思想是将模式样本按距离准则逐步聚类，直