针对私人微博的聚类算法研究 (微电子) docx.docVIP

基于k-means的私人微博聚类算法改进 高永兵, 郭文彦, 周环宇, 聂知秘 （内蒙古科技大学 信息工程学院，内蒙古 包头 014010） 摘 要: 针对私人微博内容进行聚类研究，结合私人微博的内容和结构特点提出了基于K-means的改进聚类算法。通过添加引用和评论内容丰富了文本内容，降低了短文本矩阵向量严重稀疏性带来的聚类算法准确性降低的影响；通过甄别微话题内容和改进相似度的计算，找到初始化类别并进行初步计算得到合适的类别数目和初始中心点，解决了k-means算法中聚类数目K需人工指定和初始中心点选取随机性的问题。实验结果表明改进后的算法不仅可以自适应地得到K值，较普通的k-means算法在聚类的准确率上有所提高。 关键词: K-means算法；私人微博；初始中心点；自适应 中图分类号: TP392 文献标识码：A 文章编号： Improvements of personal weibo clustering algorithm based on K-means GAO Yong-bing, GUO Wen-yan, ZHOU Huan-yu, NIE Zhi-mi (School of Information Engineering, Inner Mongolia University of Science and Technology, Baotou 014010, China) Abstract: Aiming at clustering research on personal weibo, an improved K-means algorithm is proposed on the combination of personal weibo content and structural features. By adding the reference and comment content into text, the influence of the server data sparseness in short documents is reduced. By screened out micro topic and improved the similarity computing, the appropriate categories and the number of initial centers is found, so the problems of K-means that the number of clusters K need to manually specify and the initial centers is random are solved. Experimental results show that the improved algorithm can not only get the adaptive value of K, but the accuracy is also improved compared with the general K-means. Keywords: K-means algorithm ; personal weibo ; initial centers ; adaptive ; 1.引言 作为web2.0时代新兴起的一类开放式互联网应用，微博是一种非正式的迷你型博客。据CNNIC（中国互联网信息中心）发布的数据显示，截止2013年6月底，我国的微博用户已达3.31亿，网民的微博用户比例达到了56.0%，用户每日发布的博文数多达1亿条。与传统社会媒体相比，微博的发展态势强劲，已成为人们生活中不可获缺的一部分[1]。针对微博的研究是目前的一大热点，微博不完全同于已有的短文本，它具有简短、实时性及社会性等特征。目前国内大量关于微博的研究都着眼于公共微博，比如从公共微博中挖掘热点事件发现[2]、意见领袖识别、网络内容检测、网络舆情检测等等[3]。本文的关注点是私人微博，即以用户为单位组成的微博数据集合。通过改进文本信息处理中使用到的聚类方法，针对私人微博内容进行整理和挖掘。对微博本人来说，可以对自己的微博历史内容整理归类，使得历史数据对自己清晰可用；对他人而言，经过文本信息处理的微博使用户可以更清楚快速地了解别人微博的整体内容，挑选出自己感兴趣的信息；同时，也为公共微博的研究提供了支持,可以进一步应用于内容特征，用户兴趣分析和新兴话题检测等等。这些功能对于数据量庞大的微博应用，都是很有实际意义的。聚类是一种无指导的机器学习方法，在数据挖掘领域中非常活跃，应用非常广泛。它基于“物以类聚”的原理，按照相似性把个体归为