一种基于密度文本聚类挖掘算法.docVIP

一种基于密度的文本聚类挖掘算法 　　 (1.江苏科技大学 电子信息学院, 江苏 镇江 212003; 2.东南大学 计算机科学与工程学院, 南京 210096) 　　?? 　　摘 要：针对DBSCAN算法需用户设置参数值、易产生挖掘结果偏差等不足，提出改进算法DBTC(densitybased text clustering)，该算法不仅能够发现任意形状的簇，还有效地解决了基于密度的DBSCAN聚类算法在文本挖掘中参数设置困难和高密度的簇被相连的低密度簇包含的问题。理论分析和实验结果表明，算法是有效可行的。 　　?す丶?词：分词； 文本聚类； 向量空间模型； 核心对象 　　?ぶ型挤掷嗪牛?TP391 文献标志码：A 　　 文章编号：1001?B3695(2009)01?B0124?B03 　　?? 　　Text cluster mining algorithm based on density 　　ZHAO Kang1, LU Jieping1, NI Weiwei2, WANG Guiping1 　　?? 　　(1.School of Electronics Information, Jiangsu University of Science Technology, Zhenjiang Jiangsu 212003, China; 2. College of Computer Science Engineering, Southeast University, Nanjing 210096, China) 　　?? 　　Abstract:Focusing on the problem that the DBSCAN algorithm needs to set parameters by users and tends to warp the mining result, proposed an improved text clustering algorithms DBTC (densitybased text clustering). The algorithm not only could find arbitrary shaped clusters, but also efficiently solved these problems which were it was too difficult for users to determine the parameters and the highdensity cluster was completely contained to the linked lowdensity cluster. Theoretic analysis and experimental results indicate that the algorithm is effective and efficient. 　　??Key words：words segmentation; text clustering; vector space model; coreobject; 　　?お? 　　随着网络数据的不断膨胀，信息过载和资源迷向的问题日益突出，大量的非结构化数据迫切需要一种有效的分析处理技术，使人们能够在这些数据中找到所需要的信息。数据挖掘技术可用于在海量的数据中发现所需知识。?? 　　数据挖掘的大部分研究主要是针对结构化数据，而事实上，可获取的大部分信息都存储在文本数据库中。文本挖掘作为数据挖掘的一个分支，它把文本型的信息源作为分析的对象，利用定量计算和定性分析的方法从中寻找信息的结构、模式等各种隐含的知识。?? 　　文本聚类是文本挖掘中的一项重要技术，可以将文本数据按相似性聚成簇，以供进一步挖掘和分析。密度聚类DBSCAN方法具有能够发现任意形状簇的优点，在聚类分析中被广泛应用[1，2]。但是将该算法直接用于文本聚类时，需要用户输入参数，将选择能产生可接受的聚类结果的参数值的责任留给用户。算法对这些参数值非常敏感，设置的细微差别可能导致差别很大的数据聚类；另外，真实的文本数据的维度非常高而且可能具有倾斜的分布，全局的密度参数很难符合内在的聚类结构，使得高密度的簇包含在低密度的簇中。针对这些问题和不足，本文对DBSCAN算法进行改进，提出DBTC文本聚类算法,并进行了算法性能分析和实验验证。?? 　　1 文本数据的预处理?? 　　由于文本数据是半结构化的数据，在进行文本的聚类分析之前，需要对文本集进行预处理，将文本格式转换为聚类算法能够处理的数据格式。?? 　　1.1 文本的分词?? 　　文本挖掘时，以向量表示文本，一般可以选择字、