基于Web-Log Mining 的Web 文档聚类.pdfVIP

1000-9825/2002/13(01)0099-06 ©2002 Journal of Software 软 件 学 报 Vol.13, No.1 基于Web-Log Mining 的Web 文档聚类 1,2 1,2 3 4 苏 中 , 马少平 , 杨 强 , 张宏江 1(清华大学 计算机科学与技术系,北京 100084); 2(清华大学 智能技术与系统国家重点实验室,北京 100084); 3(Simon Fraser 大学,加拿大); 4(微软中国研究院,北京 100080) E-mail: suzhong_bj@ 摘要: 速度和效果是聚类算法面临的两大问题.DBSCAN(density based spatial clustering of applications with noise) 是典型的基于密度的一种聚类方法,对于大型数据库的聚类实验显示了它在速度上的优越性.提出了一种基于 密度的递归聚类算法(recursive density based clustering algorithm, 简称RDBC),此算法可以智能地、动态地修改其 密度参数.RDBC 是基于DBSCAN 的一种改进算法,其运算复杂度和DBSCAN 相同.通过在Web 文档上的聚类 实验,结果表明,RDBC 不但保留了DBSCAN 高速度的优点, 而且聚类效果大大优于DBSCAN. 关 键 词: 数据库;聚类;Web mining;数据挖掘 中图法分类号: TP311 文献标识码: A 数据挖掘就是试图在大型数据库中发现隐含模式的过程.聚类算法是数据挖掘中的一个重要的分析工具. 作为统计分析的一个分支,聚类分析在过去的 40 多年中得到了深入的研究,并广泛运用于许多应用领域.对于 数据挖掘的任务,聚类分析的诱人之处是有可能在不需要知道任何数据的层次信息的前提下,从数据中发现层 次或类的关系.然而,在数据挖掘和机器学习中运用的聚类分析并没有得到非常成功的运用.其原因就是在大规 模数据库中,通常算法的速度和效果不能令人满意. 现在已有许多聚类算法, 例如 K-means[1],HAC(hierarchical agglomerative clustering)[2~4],CLANRNS (clustering large applications based on randomized search)[5]等,这些方法都是面向小数据集合的,不太适合数据挖 掘所面对的大型数据库. DBSCAN(density based spatial clustering of applications with noise)[6]是一种通过对局部密度分析,将相邻点 聚集在一起的聚类算法.在整个算法进行过程中,它只对数据库进行一次扫描.如果DBMS 对相邻点的查询效率 很高(DBMS 的查询效率目前已经完全满足这一条件),DBSCAN 的效率将非常令人满意.它是当前面向大数据 集聚类算法中最快的一种.然而, 由于算法本身在整个聚类过程中使用固定的参数(这将在下一节中讨论),使得 对于真实环境数据集的聚类,往往其聚类的效果不好.其主要原因是, 由于其定义的密度的传递性质,往往将绝 大多数的数据点都聚集在非常少的几类中(通常是一类). 在本文中,我们提出了一种基于密度的递归聚类算法RDBC(recursive density based clustering algorithm).此 算法可以智能地、动态地修改其密度参数.RDBC 是基于DBSCAN 的一种改进算法.算法的基本思想是,我们并 收稿日期: 2000-04-03; 修改日期: 2000-07-20 基金项目: 国家重点基础研究发展规划973 资助项目(G 1998030509) 作者简介: 苏中(1976 －), 男,上海人,博士生,主要研究领域为基于内容图像检索,模式识别, 网络数据挖掘;马少平(1961 －), 男, 河北唐山人,博士,教授,博士生导师,主要研究领域为模式识别,信息检索, 网络数据挖掘;杨强(196 1－),男,北京人,博士,教授,主要研究 领域为机器学习,数据挖掘,知识系统;张宏江(1960 －),男,黑龙江哈尔滨人,博士,研究员,主要研究领域为视频和图像内容分析与检索, 计算机视觉,信息系统. 100