Twitter中重复消息的分析和处理-计算机工程与应用.PDF

Computer Engineering and Applications 计算机工程与应用 2014 ，50（21 ） 111 Twitter 中重复消息的分析和处理 1，2 2 3 2 2 徐 凯 ，沙 瀛 ，李 阳 ，单既喜 ，王晓岩 1，2 2 3 2 2 XU Kai , SHA Ying , LI Yang , SHAN Jixi , WANG Xiaoyan 1.江西农业大学 计算机与信息工程学院，南昌 330045 2.中国科学院 信息工程研究所，北京 100093 3.中国科学院 计算技术研究所，北京 100190 1.School of Computer and Information Engineering, Jiangxi Agricultural University, Nanchang 330045, China 2.Institute of Information Engineering, Chinese Academy of Sciences, Beijing 100093, China 3.Institute of Computing Technology, Chinese Academy of Sciences, Beijing 100190, China XU Kai, SHA Ying, LI Yang, et al. Twitter repeat messages analysis and processing. Computer Engineering and Appli- cations, 2014, 50 （21 ）：111-115. Abstract ：Twitter has become the representative applications of the micro-blog. By analysis on twitter a lot of messages （tweets ）are the same or similar. Those messages bring up a trouble on the analysis and message storage, so it is needed to remove those messages which are the same or similar. According to the characteristics of short text on tweets, this paper proposes the following approach. It processes the same tweets based on the specific format, then uses the simhash to process the similar tweets. It uses 240 million tweets crawled on the Internet to experiment. In the experiment it only processes Chinese and English tweets. The repetition messages （tweets ）is 10 percent of all the Chinese and English tweets. Key words ：twitter; microblog; Simhash; short text duplicate removal 摘 要：Twitter 已经成为微博中的代表性应用，但是通过分析发现twitter 上的消息（推文）有很多完全一致或相似， 这对后续对推文的分析和存储都带来很大的问题。为了处理这些内容完全一致或相似的消息（推文），针对推文特 有的短文本的特点，基于规则处理完全一致的推文，采用simhash 的方法来处理相似性的推文。实验采用实际抓取 的240 万条推文数据进行分析和处理，分别对中文和英文的推文重复情况进行了分析，实验结果发现重复的推文占 总推文的10%左右。 关键词：推特；微博；Simhash；短文本去重 文献标志码：A 中图分类号：TP391.1 doi ：10.3778/j.issn. 1002-8331.1212-0115 1 概述