适用于大规模文本处理的动态密度聚类算法.pdfVIP

北京大学学报 ( 自然科学版) Acta Scientiarum Naturalium Universitatis Pekinensis 适用于大规模文本处理的动态密度聚类算法 † 李霞 蒋盛益 张倩生 朱靖 广东外语外贸大学思科信息学院 , 广州 510006; † 通信作者 , E-mail: shelly_lx@126.com 摘要 针对传统基于密度的聚类算法对海量数据处理时, 存在参数输入复杂及时间复杂度高的问题 , 给出新 的密度定义方法, 并在此基础上提出一种只需一个简单输入参数就能动态识别密度不均匀聚类簇的聚类算 法, 同时将其扩充为可以处理海量数据的两阶段动态密度聚类算法。在人造数据集、大规模数据集以及中英 文文本语料数据集上的实验表明, 所提出的算法具有输入参数简单和聚类效率高的特点 , 可以应用于海量文 本数据的聚类处理。 关键词 文本挖掘; 聚类; 海量数据 ; 动态密度 中图分类号 TP391 A Dynamic Density-Based Clustering Algorithm Appropriate to Large-Scale Text Processing † LI Xia , JIANG Shengyi, ZHANG Qiansheng , ZHU Jing Cisco School of Informatics, Guangdong University of Foreign Studies, Guangzhou 510006; † Corresponding author, E-mail: shelly_lx@126.com Abstract Because of the high time complexity and complicated parameter setting in traditional density-based clustering algorithm, a new density definition is proposed, which just needs one parameter and can find clusters with different densities. The authors also expand the algorithm to a two-stage dynamic density-based clustering algorithm, which can process large-scale text corpus data. Experiments on synthetic dataset, large-scale dataset from UCI, English text corpus and Chinese text corpus show that TSDDBCA algorithm has the characteristic of easy parameter setting and high clustering efficiency, and can be applied to clustering processing to large-scale text data. Key words text mining; clustering; large-scale data; dyn