网络舆情热点挖掘系统设计和实现.docVIP

网络舆情热点挖掘系统设计和实现 　　摘 要：网络舆情对政治、经济、文化和社会各方面的影响越来越大。对互联网和社交网络发布的信息及各种反馈和观点进行舆情分析与判断，是舆情挖掘的重要手段。设计了网络舆情热点挖掘系统，通过文本处理、分词处理、复杂网络聚类及舆情热点提取等功能，使纷繁复杂信息中的热点话题及其舆情得以突出体现，为舆情热点定位、分析提供了有力的工具支持。 　　关键词：网络舆情；数据挖掘；舆情热点 　　DOIDOI：10.11907/rjdk.151323 　　中图分类号：TP319 文献标识码：A 文章编号：1672-7800（2015）007-0111-03 　　基金项目基金项目：大连市社科联（社科院）与大连市高校工委联合立项课题（2013dlskybgx13）；辽宁省社会科学规划基金项目（L14BWJ010） 　　简介简介：王大鹏（1968-），男，辽宁大连人，硕士，辽宁师范大学计算机与信息技术学院讲师，研究方向为网络工程与网络安全；张大为（1971-），男，辽宁大连人，辽宁师范大学计算机与信息技术学院副教授，研究方向为软件工程与数据挖掘；张鹏（1976-），女，辽宁大连人，硕士，辽宁师范大学管理学院讲师，研究方向为文化产业与公共危机管理。 　　0 引言 　　舆情挖掘就是找到文字表达中的某些观点、情感、情绪、价值观和态度等，通常分为积极、消极和中立几方面，是近年来自然语言处理和文本挖掘领域的研究热点 [1]。随着现代传媒技术和互联网的发展，个人声音的表达呈爆炸趋势，与之形成鲜明对比的是对这些观点的有效收集和分析滞后。收集大众舆情的瓶颈降低了预控大规模群体事件的可能性 [2]。 　　舆情分析在社会、科学、人文、军事和商业等各个层面具有较大的应用空间[3]。通过社会网络的舆情挖掘，用于分析政治、宗教和安全问题，并为制定相关政策提供决策支持；消费者的舆情反馈可用于产品销售、采购定价和生产制造。在网购大行其道的今天，收集客户的反馈信息，是经销商为未来的销售趋势和产品升级作预测分析的重要方式。通过对媒体反馈信息的收集可以进行公共舆情管理、广告收益评价和人文价值观评价等。 　　舆情挖掘的基本过程包括3个阶段[4]：①舆情检索和文本处理；②舆情分类和提取；③舆情摘要和汇总。这个基本过程得出的结论往往只有积极、消极和中立这3个人类特定情绪的价值取向判断。但舆情不止是人类特定情绪反应的总结，更准确地说是人类所关注热点的表达，如“反腐”、“医疗”、“教育”等。 　　本系统通过网络聚类[5-6]发现舆情热点，以达到舆情分析的目的。 　　1 分词向量空间 　　文本向量空间模型由Salton[7]等人提出，每一篇文档的向量模型为：V（d）={（t1，w1），…，（tk，wk），...，（tn，wn）} ，其中权值wk=tfk×idfk，tfk为特征词tk在文档d中出现的频率或频率函数，逆向文档频率idfk=log（Nnk），其中N为文档总数，nk为包含特征词tk的文档数，当nk为0时，定义idfk=0。由此，特征词权重wi被称为TF-IDF权重。 　　根据TF-IDF权重计算方法，TF越高表明其受关注度越高，IDF越大则区分度越大越切题。每个词除了TF-IDF权重特征外，还可能包含如词性、词长度等有效信息。由此，在文档空间中选择热词时，可考虑将权重修订为：w′k=wk×POS（tk）×L（tk），其中POS（tk）为词性权重，名词取2，动词取1.5，其它词性取1，L（tk）为词的长度。 　　利用所有文档的候选词可以构造一个面向词的向量空间：V（t）={（dt1，w′1），…，（dtk，w′k），…，（dtn，w′n）}。词向量空间是进行文本处理和舆情挖掘的主要数据结构和数据存储方法，也是系统进行舆情热点挖掘和舆情分析的主要数据对象。 　　2 系统设计 　　如图1所示，系统总体架构分为4个层次，自下而上：舆情信息检索层、分词倒排处理层、网络聚类分析层和热点舆情分析层。每个层次又分为两个子层次，每个子层次包含不同的软件处理组件。 　　（1）舆情信息检索。通过网络爬虫或其它网络信息收集工具，收集网上公开发表的网页、微博、贴吧、QQ、论坛和各类具有反馈信息网站中的静态、动态、交互、评价及反馈等信息，下载并转换成TXT文件。系统根据TXT文件的不同格式选择相应的转换工具，将其转换成具有标准格式的XML文件。 　　（2）分词倒排处理。首先读入已经转化成标准格式的XML舆情文件，根据内容特点或其它特定需求选择不同的文本分词器，如IK Analyzer或庖丁，对其分词。然后根据公式对每个分词进行加权评价，计算其相应的权值大小。倒排索引算法根据特定选择的关键字，对其属性进行倒排链接，并根据关键字权重进行降序排序。 　　分