基于大数据技术的网络舆情文本挖掘研究-情报杂志.PDFVIP

第33卷摇 第10期 情摇 报摇 杂摇 志 Vol.33摇 No.10 2014年10月 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 JOURNAL OF INTELLIGENCE摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 Oct. 摇 2014 ·舆情研究 · 基于大数据技术的网络舆情文本挖掘研究* 李金海摇 何有世摇 熊摇 强 (江苏大学管理学院摇 镇江摇 212013) 摘摇 要摇 通过分析大数据与网络舆情数据的相似特征,基于大数据思想构建网络舆情的文本挖掘模块,并在此基础 上构建预警模型,对关系型数据库与分布式数据库进行了融合,使之适应模型从数据采集到分析查询的全部流程; 并对大数据核心技术MapReduce进行扩展,改进的MapReduce贯穿于数据处理模块的文本特征向量提取与舆情指 数的矩阵-向量乘积运算。 通过仿真实验,证明该模型具有一定的准确性与良好的时效性。 关键词摇 大数据摇 MapReduce摇 分布式数据库摇 网络舆情摇 舆情指数 中图分类号摇 TP391摇 摇 摇 摇 摇 摇 摇 文献标识码摇 A摇 摇 摇 摇 摇 摇 文章编号摇 1002-1965(2014)10-0001-06 DOI摇 10.3969/j.issn.1002-1965.2014.10.001 On Text Mining of Network Public Opinion Based on Big Data Technology Li Jinhai摇 He Youshi摇 Xiong Qiang (School of Management,Jiangsu University,Zhenjiang摇 212013) Abstract摇 Throughanalyzingthebigdataandthenetworkpublicopinion data oftheir similar characteristics,basedonbigdataideology, text miningmoduleofnetworkpublicopinionisconstructed. Thenonthisbasisanearlywarningmodelisbuilt,RDBandHBaseareinte鄄 grated to make it adaptive tothewholeprocessofthemodel from data collection toanalysisandinquiry. Thecoretechnology ofbig data MapReduce isextended. The improved MapReduce graphsthrough the early warning system for text feature vector extraction of the data processing moduleandpublicopinionindexofmatrix -vectorproductoperation. Simulationexperimentprovesthemodelhasacertainac鄄 curacy and good timeliness. Key words摇 big data摇 MapReduce摇 HBase摇 network public opinion摇 public opinion index 史波就网络舆情和网络舆论之间的不同,从参与主体 0摇 引摇 言 上做出了解释,认为网络舆情的主体是网民, 网络舆 [1] 随着Web2.0 时代的到来,我