基于词频均值波动和概率语言模型的短文本热点主题探测研究.PDF

第38卷摇 第6期 情摇 报摇 杂摇 志 Vol.38摇 No.6 2019年6月 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 JOURNAL OF INTELLIGENCE摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 June摇 2019 基于词频均值波动和概率语言模型的 短文本热点主题探测研究* 徐摇 敏摇 李广建 (北京大学 信息管理系摇 北京摇 100871) 摘摇 要摇 [目的/ 意义]针对短文本词语特征向量稀疏的问题,提出利用突然爆发现象和词语共现概率现象进行热点 主题探测研究的新视角。 [方法/ 过程]以此为目标建立了一个分析框架,以词频均值波动模型发现短文本中的热点 词,以概率语言模型发现主题词,再对二者结果集合进行相似度计算实现热点主题的探测与展示。 [结果/ 结论]通 过对较高热度噪声词的过滤以及热点事件词的发现实现热点主题的探测。 通过对比谷歌趋势的结果,准确率达到 82.67%,证明模型有效。 本研究对短文本热点主题探测的理论和实践研究具有一定参考价值。 关键词摇 短文本摇 热点主题探测摇 词频均值波动模型摇 概率语言模型 中图分类号摇 G356.8摇 摇 摇 摇 摇 摇 摇 文献标识码摇 A摇 摇 摇 摇 摇 文章编号摇 1002-1965(2019)06-0152-07 引用格式摇 徐摇 敏,李广建.基于词频均值波动和概率语言模型的短文本热点主题探测研究[J].情报杂志,2019,38 (6):152-158. DOI摇 10.3969/j.issn.1002-1965.2019.06.023 Short TextsHot Topics Detection:Based on Word Frequency Mean Fluctuation and Probabilistic Language Model Xu Min摇 Li Guangjian (Department of Information Management,Peking University,Beijing摇 100871) Abstract摇 [Purpose/ Significance]Aiming at the problem of sparse feature vectors of short texts,the research proposes a new research perspective for hot topicsdetection by using sudden outbreak phenomenon and word co-occurrence probability phenomenon. [Method/ Process]We set up an analytical framework tofindhot wordsin short textsby wordfrequency mean fluctuation modelandto detect topic wordsby probabilistic language model,and then calculated the similarity between their resultsto display thehot topics.[Result/ Conclu鄄 sion]The method detectshot topicsby filtering high thermal noise words and discovering hot event words. By comparing the results of Google trend,the accuracyrateis82.67%,whichprovesthatthemodeliseffective. Theresearchishelpfulforactualbusi