关于个人微博线索词个性化提取算法的研究.doc

关于个人微博线索词个性化提取算法的研究 高永兵, 周环宇, 聂知秘 （内蒙古科技大学 信息工程学院，内蒙古 包头 014010） 摘 要：在分析常规文本关键字提取以及TF-IDF相似度算法的基础上，结合个人微博的非主流文本特征，提出了一种个人微博线索词个性化提取算法 (Personal weibo clue word personalized extraction algorithm ，WWPE)。算法主要分为三部分：第一引进了由微博转帖、评论和赞数组成的流行度概念；第二对耦合、时序和流行度三个因素进行串行相似度计算，解决了相似度浑浊和相似度漂移问题；第三改进了传统的TF-IDF函数，解决了相同关键字在不同文本中的特征值离散问题。实验结果证明该算法具有很高的抽准率。 关键词：个性化提取；串行相似度；TF-IDF； 中图分类号：TP392 文献标识码：A 文章编号： Clues about personal weibo word personalized extraction algorithm research GAO Yong-bing, ZHOU Huan-yu, NIE Zhi-mi (School of Information Engineering, Inner Mongolia University of Science and Technology, Baotou 014010, China) Abstract: Based on the analysis of conventional text keyword extraction and TF - IDF similarity algorithm, on the basis of combination of Personal weibo non-mainstream text characteristic, this paper proposes a personalized Personal weibo clue word extraction algorithm (Personal weibo clue word personalized extraction algorithm, WWPE). Algorithm mainly divides into three parts: the first introduced by weibo repost, comments and praise for the popularity of concepts; A second pair of coupling, timing and popularity for serial similarity calculation, three factors drift problem solved the similarity of turbidity and similarity; The third improved the traditional TF - IDF function to solve the same keywords in the different characteristic values in the text, the discrete problem. The experimental results show that this algorithm has high precision. Keywords: Personalized extract ; Serial similarity; TF - IDF; 1 引言 微博是近年来新兴起的，且发展迅速的新闻媒体。用户可以随时随地使用电脑或移动客户端发布状态。新浪微博是目前注册人数最多，国内流行度最广的微博网站。 微博数据是一种实时性较强的短文本，与常规文本相比，具有文本缺失性、不规则性和多样性等特点。本文以短文本数据挖掘为研究背景，展开了从短文本预处理到短文本相似性度量，再到特征值的计算等一系列研究。如何从海量的个人微博数据中精准地检测出用户所关注或经历的微博事件，生成便于用户浏览和回忆的摘要形式，进而发现一些有价值的信息，是当前信息抽取技术首要解决的问题。本次实验结果就可以作为个人微博事件检测、自动摘要生成以及文本检索的线索词（clue word）。 主题词抽取一直是国内外研究的热点，传统方法通常是基于向量空间模型（Vector space model）VSM，它的处理对象是大规模数据集，一般以文档中分词的频率来计算特征值。本文在发挥向量空间模型易处理优势的基础上，结合个人微博的非主流特征，扩展了文本的表示方法，解决了文本的相似度浑浊、相似