大数据环境下基于MapReduce网络舆情热点发现.docVIP

大数据环境下基于MapReduce网络舆情热点发现 　　摘要：大数据环境下的网络舆情分析更侧重于在海量数据的采集、存储、清洗和文本聚类，因此传统的仅依据数据统计的舆情分析方法不再适用。文章对大数据网络舆情分析的相关文献进行总结研究，归纳出网络舆情分析的基本流程框架，并阐明了在大数据环境下网络舆情分析中文本聚类的各个阶段如何运用MapReduce进行分布式计算，以此提高网络舆情分析的准确度与及时性。 　　关键词：大数据；舆情热点；MapReduce；文本聚类 　　中图分类号：TP391.1 　　文献标识码：A 　　DOI： 10.3969/j.issn.1003-6970.2015.07.022 　　0 引言 　　舆情是一定时期一定范围内社会民众对社会现实的主观反映，是群体性的态度、思想、情绪和要求的综合表现。大数据时代已经到来，大数据下的网络舆情分析已经成为当前政府和科研机构研究的热点问题。2011年，经济学人发表“Building with big data”指出在数据极度膨胀的时代，要掌握数据分析的能力，成为数据的主人，而不要成为数据的奴隶。 　　在大数据时代，如何及时的收集、分析处理海量数据，并为决策者提供有用的信息是当前研究的热点与难点。相较于传统的舆情分析，大数据环境下的网络舆情分析更侧重于在海量数据的采集、存储、清洗和文本聚类，因此传统的仅依据数据统计的舆情分析方法不再适用。 　　文章对大数据网络舆情分析的相关文献进行总结研究，归纳出网络舆情分析的基本流程框架，并提出了在大数据环境下网络舆情分析各个阶段的解决方案，构建大数据网络舆情分析的基础模型，以此提高网络舆情分析的准确度与及时性。 　　1 网络舆情分析发展概述 　　从已有的舆情分析的相关文献中不难发现，社会舆情分析大致经历了以下几个阶段，简单的社会舆情分析，网络舆情分析和大数据环境下的网络舆情分析三个阶段。简单的社会舆情分析主要分析当下热点事件、政府颁布的法令法规与社会舆情之间的关系。简单的社会舆情分析主要通过问卷调查取得原始数据进行分析，例如MacLennan等通过抽样调查的方式研究新西兰民众对于酒精政策的态度，Alan等使用盖洛普世界民意调查数据研究了恐怖袭击与民众态度之间的关系。网络舆情分析伴随着Facebook、微博、微信、人人、Twitter等社交网络平台的兴起应用而生，例如著名的Ceron通过分析2012年Twitter上的法国大选时网民的情感取向数据预测大选的结果。大数据环境下的网络舆情分析是在海量、多样性网络数据的背景下利用大数据分析技术进行的网络舆情分析。 　　目前大数据时代的数据具有规模性、多样性、变化快速性特征，首先由于网络的开放性每天产生大量的信息，其次多媒体的发展使得数据有多种形态比如文本、视频、图片、音频等。基于目前网络舆情分析的大数据特征，出现了以下几种网络舆情分析方法：基于网络日志数据挖掘的舆情分析、基于社会网络分析的舆情主体关系发现、网络舆情热点分析、关联不同领域的数据舆情分析。 　　大数据网络舆情分析是一个热点问题，从现有的研究文献来看，对于大数据网络舆情分析更多的是体现在大数据舆情分析的机遇与挑战、以及研究方法的概述与总结上，从技术层面对大数据网络舆情分析的研究较少。 　　2 大数据网络舆情分析技术 　　2.1 大数据技术 　　大数据时代的到来对现有的数据处理技术带来了巨大的挑战，目前针对大数据的多样性等特征，在数据存储和数据处理方面都提出了相应的解决方案。在数据存储方面，目前网络舆情分析的数据存储方法主要还是将获取的热点数据直接存储在传统的SQLServer、ORACLE、Sybase等数据库中，大数据的出现导致数据结构多样性，传统的结构性数据库远不能满足当下快速多样的大数据存储的要求，对此目前出现了三种大数据的存储技术：针对海量的非结构化数据的分布式文件存储系统、针对海量半结构化数据存储的NoSQL数据库、针对海量结构化数据存储的分布式并行数据库。在数据计算处理方面，目前并行处理和云计算是解决大数据计算的比较有效率的方式，Hadoop是当前学术界和企业用来解决大数据存储和分析的一个主要技术手段，它是Apache开源分布系统的架构基础，由HDFS、MapReduce和HBase组成，其运行环境如图1所示。 　　（l）HDFS（Hadoop分布式文件系统） 　　HDFS是整个Hadoop体系结构中处于最基础的地位，分为三个部分：客户端、主控节点（Namenode）和数据节点（Datanode）。Nanenode是分布式文件系统的管理者，主要负责文件系统的命名空间、集群的配置信息和数据块的复制信息等，并将文件系统的元数据存储在内存中；Datanode是文件实际存储的位置，它将数据块（Bl