基于大数据技术的微博舆快速自聚类方法研究.PDFVIP

第36卷摇 第5期 情摇 报摇 杂摇 志 Vol.36摇 No.5 2017年5月 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 JOURNAL OF INTELLIGENCE摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 May 摇 2017 基基于大数据技术的微博舆情快速 自聚类方法研究* 陈 雪 刚 (湘南学院软件与通信工程学院摇 郴州摇 423000) 摘摇 要摇 [目的/ 意义]针对海量的微博舆情信息及微博在网络舆论场中的重要作用,如何快速、准确地获取微博舆 情,是提升网络舆情实时监测及分析能力的关键课题之一。 目前已能以较高的准确度获取微博舆情,但仍存在舆情 获取耗时长问题,为较有效地解决该问题,提出一种基于大数据技术的微博舆情快速自聚类方法。 [方法/ 过程]该 方法首先利用大数据技术抓取和处理海量的微博舆情信息,而后根据构建的微博文本相似度速算模型和文本自主 聚类模型快速自主聚类微博舆情。 文本相似度速算模型通过两文本间同名的特征词数与其特征词数量较小值的比 值来度量文本相似度;而文本自主聚类模型以一个主题为聚类起始,自主自适应扩展聚类主题,并将文本相似度大 于设定阈值的文本直接聚为一类。 [结果/ 结论]实验结果表明:提出的微博舆情快速自聚类方法能快速、准确地获 取微博舆情,且具有较低的舆情误报率和漏报率,可为网络舆情实时监测及分析能力的提升提供一定的方法支持。 关键词摇 微博舆情摇 大数据技术摇 文本相似度摇 快速自聚类摇 特征词 中图分类号摇 G202摇 摇 摇 摇 摇 摇 摇 摇 文献标识码摇 A摇 摇 摇 摇 摇 摇 文章编号摇 1002-1965(2017)05-0113-05 引用格式摇 陈雪刚.基于大数据技术的微博舆情快速自聚类方法研究[J].情报杂志,2017,36(5):113-117. DOI摇 10.3969/j.issn.1002-1965.2017.05.020 Research on Fast Autonomous Clustering Method of Microblog Public Opinion Based on Big Data Technology Chen Xuegang (College of Software and Communication Engineering,Xiangnan University,Chenzhou摇 423000) Abstract摇 [Purpose/ Significance]Facing massive microblog public opinion information and the important role of microblog in the net鄄 work public opinionfield,howtoobtainthemicroblogpublicopinionquicklyandaccuratelyisonekeyissuetoimprovetheabilityofreal time monitoring andanalysisofthenetworkpublicopinion. Atpresent,ithasbeenabletoobtainthemicro-blogpublicopinionwithhigh accuracy,buthavingdisadvantageoflongtime-consuming. Tosolvetheproblemeffectively,weputforwardafastautonomousclustering method ofmicroblogpublic opinionbased onbig datatechnology.[Method/ Proces