私人微博主题词检测的算法研究.docVIP

私人微博主题词检测的算法研究 咼永兵，周环宇’聂知秘 （内蒙古科技大学信息工程学院，内蒙古包头014010） ：在分析传统长文本的主题词检测算法的基础上”结合微博数据特有的文本特征, 提岀一种聚类■权重■提取（clustering weighting extraction CWE）模式的主题词检测方法，并对 其词频、词性以及传统的TF-IDF进行改进。主要综合考虑了微博数据转帖、评论、赞数、 内嵌超链接（URL ）,实验结果证明该方法提取的主题词具有很高的准确性。最后对私人 微博的主题词检测的发展方向和用途进行总结和展望。 关键词：微博数据；聚类；主题词检测； 中图分类号：TP392 文献标识码：A 文章编号: Private microblogging keywords detectionalgorithm research GAO Yong-bingz ZHOU Huan-yuz NIE Zhi-mi (School of Informati on Engin eering, I nner Mongolia University of Science and Tech nolog%Baotou 014010, China) Abstract: On the analysis of traditional long text keywords, on the basis of detection algorithm, combined with the feature of weibo data characteristic of the text, put fonvard a ^clustering weights - extraction1* (clustering weighting extraction CWE) model keywords detection method, and the word frequency, part of speech, and improve the traditional TF - IDF. Mainly considers the data weibo repost, reviews, praise, inline hyperlinks (URL), the experimental results proved that the method to extract the subject has the veiy high accuracy. Finally by testing the subject headings of private microblogging, summarize and prospect the development direction and purpose? Keywords: Weibo data; Clustering; Subject headings detection 1引言 微博是近年来新兴起的，且发展迅速的新闻媒 体。用户可以在任何时间、任何地点使用电脑或移 动客户端发布状态。其屮关注和分享最新的新闻事 件，是用户使用微博平台的重要目的。 微博数据⑶具有以下五个特性： （1）海量数据。以新浪微博为例，微博平台 平均每天收录将近2亿条帖了，同时用户发帖的频 率平均高达1000条/s,这就形成了微博海量数据的 特征。 （2） 短文木性。根据微博平台的规定，每条 帖了的长度不超过140个字符，所以对微博数据的 处理要考虑其短文本的特性。 （3） 文本的多样性。由于用户关注的新鲜事 件有多种表现形式，除了文字描述还有图片、视频 以及超链接，使其微博文本呈现出多样性。 （4） 即吋性。用户可以通过移动客户端、IM 软件和开放的API接口等多种途径去随时随地记录 自己的所见所闻，体现了微博数据的即时性。 （5）庞大的社交网络。用户间通过“关注与 被关注”双向模式形成了庞大的社交网络，同时转 发、评论、互赞等功能的引入进一步增加了信息稠 密性。 主题词的检测一?直是国内外研究的热点，传统 主题检测的数据集都是普通的长文本，采用的方法 通常是基于向量空间模型和TFIDFo 一方面由于微 博数据自身的短文木性和多样性，所以采用传统的 检测方法无法达到预期的效果；另一方面微博主题 词的检测要结合转发数、评论数、赞数以及内嵌的 超链接等因索，而传统的主题词检测方法是不能将 其以上因素考虑进去的。 在分析传统主题词检测方法的缺陷基础上以 及结合微博数据本身的特点，本文提出了一种 CWE（clustcring weighting extraction）的主题词检测 方法。 本文的主要创新点冇以下三点： 1） 改变了传统的先计算关键词的多特征权重