一种基于TextRank的文本二次聚类算法.PDFVIP

第26卷 第8期 计 算机 技 术 与发 展 Vol.26 No.8 2016年8月 COMPUTERTECHNOLOGY AND DEVELOPMENT Aug. 2016 一种基于TextRank 的文本二次聚类算法 潘晓英,胡开开,朱 静 (西安邮电大学计算机学院,陕西 西安 710121) 摘 要:针对传统文本聚类技术中存在的聚类精度一般或者运算时间复杂度过高等问题,文中首先介绍了两种较为常用 的文本聚类技术:基于划分的K -means和基于主题模型的LDA。 在分析各自缺陷的基础上,提出一种基于TextRank 的文 本二次聚类算法。 该算法借鉴主题模型的思想,在传统的聚类过程中引入词聚类,并在关键词提取阶段融合词语的位置 与跨度特征,减少了由局部关键词作为全局关键词带来的误差。 实验结果表明,改进后的算法在聚类效果上要优于传统 的VSM聚类和基于主题模型的LDA算法。 关键词:文本聚类;TextRank;关键词提取;向量空间模型;LDA 中图分类号:TP391.9 文献标识码:A 文章编号:1673-629X(2016)08-0007-05 doi:10.3969/j.issn.1673-629X.2016.08.002 A Secondary Text Clustering Algorithm Based on TextRank PAN Xiao-ying,HU Kai-kai,ZHU Jing (School of Computer,Xi’an University of Posts Telecommunications,Xi’an710121,China) Abstract:In view of the existing problemsin the traditional text clustering technology,such as the general accuracy or the higher time complexity,two kindsof the commonly used text clusteringtechnology areintroducedat first,includingK -meansbased on the division and LDA based on the theme.On the basisof the analysisof their respective defects,a secondary text clustering algorithm based on the TextRank ispresented.Referenceofidea ofthememodel,thealgorithmintroducesthewordclusteringintheprocessoftraditionalcluste- ring,and mergesthe futuresof location and span in the keyword extraction phase,reducing the error by local keywords as global key- words.The experimental results show that the improved algorithm on the cluster effect is superior to the traditional VSM clustering and LDA algorithm based on the theme model. Key words:text clustering;TextRank;keyword extraction;VSM;LDA 1 概 述