基于词条与语意差异度量的文档聚类算法-计算机科学.pdfVIP

Vo 1. 43 No. 12 第 43 卷第12 期 计算机科学 2016 年 12 月 Computer Science Dec 2016 基于词条与语意差异度量的文档聚类算法 魏霖静1 练智超2 王联国1 侯振兴3 (甘肃农业大学信息科学技术学院 兰州 730070)1 (南京理工大学计算机科学与工程学院 南京 210094)2 (南京大学信息管理学院 南京 210093)3 摘 要 已有的文本聚类算法大多基于一般的相似性度量而忽略了语义内容，对此提出一种基于最大化文本判别信 息的文本聚类算法。首先，分别分析词条对其类簇与其他类簇的判别信息，并且将数据集从输入空间转换至差异分数 矩阵空间;然后，设计了一个贪婪算法来筛选矩阵每行的低分数词条;最终，采用最大似然估计对文本差别信息进行平 滑处理。仿真实验结果表明，所提方法的文档聚类质量优于其他分层与羊层聚类算法，并且具有较好的可解释性与收 敛性。 关键词 文档聚类，语意分析，贪婪算法，收敛性，可解释性 中图法分类号 TP30 1. 6 文献标识码 A 001 10. 11896/j. iss几 1002-137)立 2016.12.042 Term and Semantic Difference Metric Based Document Clustering Algorithm WEI Lin-jing1 LIAN Zhi-cha02 W ANG Lian-guo1 HOU Zhen-xini (School of Information Science and Technology ,Gansu Agriculture University ,Lanzhou 730070 ,China) 1 (School of Computer Science and Engineering ,Nanjing University of Science and Technology ,Nanjing Z10094 ,China)2 (School of Information Management ,Nanjing University ,Nanjing 210093 ,China) 3 Abstract The existing document clustering algorithms are based on the common similarity measurement ,but ignore the semantics. So a document clustering algorithm based on maximizing the sum of the discrimination information provided by documents was proposed. Firstly , the discri日让nation information of term for the corresponding cluster and for the other clusters was analyzed separately ,and the data set was transformed from input space to the difference scores matrix space. Then a greedy algorithm was designed to filter the terms with low score from each row of the matrix. Lastly , maximum likelihood estimation was used to smooth the document di