基于关键句的K-means算法在热点发现领域的研究与应用.pdf

贵 州 科 学 34(3)：2016 GukhouSciertce 93 基于关键句的K—means算法在热点发现领域的研究与 应用 顾 俊 (贵州师范大学数学与计算机科学学院，贵州 贵阳 550001) 摘 要 ： 由于 “互联网+”提出的，网络信息呈现爆炸的趋势。面对海量数据如何准确找到热点事件成了网民关注的话题。 文章从实际应用出发 ，首先对每一篇文本选取5句话作为该文本关键句，然后用TF．IDF计算特征词值，特征向量选择时不考 虑单个字的权重，再用K—means算法进行聚类。以新浪新闻为例，将环境、住房和违法三类话题共322篇文本作为测试语料进 行聚类，聚类准备率达到70％以上，说明选取关键句比将整个文本作为聚类对象的聚类效果好。 关键词 ： 文本挖掘，TF—IDF，聚类，K—means 中图分类号 ：TP391．1；N37 文献标识码：B 文章编号：1003-6563(2016)03—0093—04 Theresearchandapplication ofK -M eansalgorithm basedonkey sentencein ． thefieldofhotspots GU Jun (GuiZhouNormalUniversity，MathematicsandComputerScience，Guiyang550001，China) Abstract： DuetotheproposingofI~temet+，networkinformationshowsthetendencyofexplosion．Howtoaccu— ratelyfindahotissueinthefaceofmassivedatahasbecomeaconcernofInternetusers．Thispaperstartsfrom the practicalapplication，firstlyfivesentencesareselectedfrom everytextasthekeysentences；thenTF—IDFisusedto calculatetheweightofchraacteristicwordsandtheweig【htofawordwouldn’tbetakenintoaccountwhenselecting featurevectors；LastlyitutilizesK-meansalgorithm forclustering．TakingSinaNewsasanexample，threekindsof topicsincludingEnvironment，HousingandIllegitimacycontain322textstotally，whichareclusteredastestcorpus， andclusteringprepraationratereachesmorethan70％．Theresuh showsthatthekeysentenceextractionisbetter thanthatofthewhaletextashotspotofclusteringobject． Keywords： textmining，TF—IDF，cluster，K-Means 度。本文利用 k-means聚类 算法，充分发挥文本 0 引言 中关键句的作用，从而达到热点发现[43的目的，为 舆情监控提供可能。 随着互联网+的出现，网络数据迅速增长，面对 海量数据，如何快速有效地发现热点信息成了人们 1 相关研究 日益关注的话题。网络舆情 ¨儿 已经对社会 的稳 定和网民造成一定的影响。与一般舆情不同，网络 文本聚类的研究方法比