改进的话题检测与跟踪算法研究.pdf

第24卷 第9期 计 算 机 技 术 与发 展 Vo1．24 No．9 2014年 9月 COMPUIERTECHNOL0GY AND DEVEL0PMENT Sep． 2014 改进的话题检测和跟踪算法研究 肖 红 ，许少华 (东北石油大学计算机与信息技术学院，黑龙江 大庆 163318) 摘 要 ：话题检测可以及时发现互联网舆情热点和突发性事件，并可对话题进行持续跟踪 ，从而实时掌握舆情事件动向。 文中提出了一种基于聚类的改进话题检测和跟踪算法。首先，对文本的特征 向量进行改进，增加了基于句子主干的主干 向量。然后对每个检测到的话题提取两个 中心向量 ，一个是基本中心向量 ，另一个是基于主干向量提炼的主干中心向量 。 在此基础上再通过计算每个文本与中心向量之间的距离进行聚类分析，保证话题中各个文本之间的内聚性。同时基于主 题词抽取，在主题词的基础上计算话题之间的主题相关性，有效地实现了子话题检测功能，从而提高了话题检测和跟踪的 准确性 。通过对 lO大网站 5个频道超过两周数据量的测试 ，结果表明此方法在一定程度上提高了话题检测和跟踪的正确 率，并具有一定的适应性和推广性。 关键词：话题检测和跟踪；聚类算法；特征向量；网络舆情 中图分类号 ：TP301．6 文献标识码 ：A 文章编号 ：1673—629X(2014J09-0084—05 doi：10．3969／j．issn．1673-629X．2014．09．019 ImprovedAlgorithm StudyonTopicDetectionandTracking XIAO Hong．XU Shao-hua (SchoolofComputerandInformationTechnology，NortheastPetroleum University， Daqing163318，China) Abstract：ThetopicdetectionCalldetecthotIntemetpublicopinionandemergencies，nadcna calTyoutthecon~nuoustrackingofthetop— ic．whichcangetareal—timegraspofpublicopinionrtends．Proposeallimprovedalgorihtm fordetectingandtrackingbasedontopic clusteringinhtispaper．First，toimprovehtefeature vectorsofdocument，increasethebackbonevcetorsbasedonsentencetrunk．Thentwo centervecotrsaleextractedfrom eachdetectedtopic，inwhichoneishtebasiccentervectornadanohterishtemaincentervcetor．Onhtis basis，bycalculatinghtedistancebetweenhtedocumentvectornadhtecorrespondingcentervector，hteclusternaalysisisperformedtoen— sure htecohesionofeachdocumentforhteSalTleotpic．Menawhile，basde onkeywordexrtaction，htehtemecorrelationbetweendifferent otpicsiscalculatde toimprovehteaccuracyofotpicdetectionnadrtacking．Takinghteotp 10 site