杨海光-大数据环境下舆情监测平台(2016).docVIP

大数据环境下舆情监测分析平台及关键技术研究 一、舆情监测分析平台国内外相关研究状况 1.舆情监测相关研究及概念 1.1论文统计 舆情的表现方式很多，随着时代的发展，媒体的种类越来越多，相应地舆情的载体也越来越广泛。中国互联网络信息中心（CNNIC）发布的《第36次中国互联网络发展状况统计报告》［1］显示：“截至2015年6月，中国网民规模达6.68亿，其中,手机网民规模5.94亿，互联网普及率达到48.8%。网民上网设备中，手机使用率达88.9%，随着手机终端的大屏化和手机应用体验的不断提升，手机作为网民主要上网终端的趋势进一步明显。 随着互联网的快速发展，网络媒体作为一种新的信息传播形式，已深入人们的日常生活。网友言论活跃已达到前所未有的程度，不论是国内还是国际重大事件，都能马上形成网上舆论，通过这种网络来表达观点、传播思想，进而产生巨大的舆论压力，达到任何部门、机构都无法忽视的地步[2]。可以说，互联网已成为思想文化信息的集散地和社会舆论的放大器[3]。通过对网络舆情的搜集与分析来判定民众的意愿[4]，可以更好地进行决策，也可以更好地应对一些社会突发危机事件。以“舆情”为关键词在CNKI 中进行检索，检索时间为2005年1月1日-2016年2月20日，共检索到关于舆情研究的论文25396?篇（含博硕士论文）。以“舆情监测” 1.2 相关概念 互联网技术带来了信息爆炸，消息源越来越多，传播更加快速，传播者的门槛越来越低，而内容创作门槛的降低直接导致了内容的贬值[5]。传统报业只有在内容生产上体现高专业技能，才能在浩瀚的传播海洋中占据高位。 舆情监测，就是针对互联网上公众的言论和观点进行监视和预测的行为。其概念强调两点[6]:一是新闻事件、社会现象和社会问题主要通过互联网首发或传播,二是表达信念、态度、意见和情绪的公众主要是网民。从上世纪九十年代开始,互联网的飞速发展已经深刻的改变了社会的信息传播渠道;如今普及的移动互联网更是彻底颠覆了传统的媒体和舆论观念,成就了一个“人人都是信息采集者、人人都是信息传播者”的新时代[7]。这些言论主要为对现实生活中某些热点、焦点问题所持的有较强影响力、倾向性的言论和观点。具体上讲，舆情监测是指整合互联网信息采集技术及信息智能处理技术，通过对互联网海量信息自动抓取、自动分类聚类、主题检测、专题聚焦[8]，实现用户的网络舆情监测和新闻专题追踪等信息需求，形成简报、报告、图表等分析结果，为客户全面掌握民众思想动态，做出正确舆论引导，提供分析依据[9]。 刘毅所著的《网络舆情研究概述》[10]是国内首部全面研究网络舆情的专著， 对以后的学者研究网络舆情有很大的帮助。由于传播媒介的特殊性，网络舆情有其特性[11]，主要表现为：它来源于互联网，来源比较广泛，而且是可以匿名的。但正是可以匿名给一些人散布虚假信息以可乘之机，再加上网络舆情传播速度快，影响范围广，会对社会和民众心理产生干扰，影响人们的理性思维和正确判断，从而给社会稳定带来隐患[12]。舆情监控系统是指通过对各种媒体信息汇集、分类、整合、筛选等技术处理，再形成对舆情热点、动态、网民意见等实时统计报表的软件工具。人力、资金以及计算机软件系统等是构成网络舆情的监测体系的重要物质保障和技术保障[13]。 1.3 2015 年度中国舆情监测行业市场份额总体状况分析 随着网络舆情的重要性越来越显，政府和企业对舆情监测的需求不断上升，这推动了舆情监测市场进入高速成长期。看到这块不断做大的蛋糕，大批投机者纷纷进入舆情监测市场。截止 2014 年底，全国共涌现出 1000 多家舆情软件企业，这个数量还在不断增长。由于互联网应用形式日新月异，对信息采集和分析的要求越来越高，很多舆情软件产品无法给用户带来有效的监测效果。目前，市面上95%以上的产品把精力花在界面展示上以迷惑客户，而对于具有难度的核心采集和分析技术缺乏热情去研究，导致行业还处在技术严重滞后、市场竞争激烈、质量良莠不齐的状况。 而中国网络舆情服务产业，却在此时刻又正经历着从无到有、从小到大、从粗放到规范的过程。对于整个舆情监测市场规模，从舆情软件市场10 亿元，到舆情信息服务业 100 亿元。通过检索发现，舆情产业已经形成了政府、媒体、教育科研、软件和商业等五大背景的行业格局[14]。 党政机关依托党政宣传思想工作系统，下设职能部门或企事业舆情服务机构，开展舆情信息汇集和分析，汲取社情民意，为决策提供参考[15]，具有很强的政策性和现实意义。同时，媒体对业界政务舆情研究的成果大量涌现，为党政部门、企业和社会团体组建舆情监测队伍提供实用指南。 2.舆情监测技术综述 网络舆情监测的方式主要有人工方式和自动方式[16]。人工方式主要是利用搜索引擎对网站进行人工监测，有信息量大、不能实时监测的局限性[17]，