网络舆情监测系统建设方案..docx

XXXXXXX网络舆情监测系统建设方案XXXXXXX2014年3月4日一、建设背景当前，网络发展日新月异，网民人数成几何级增长。随着各种网络新技术的出现和应用，网络的内容更加丰富，网络的社会影响力更加强大。网络作为第四媒体逐在日趋激烈的媒介竞争中，无可争议地获得了自身的地位，其影响已全面而深刻地渗入到人们的政治、经济、文化生活等各个方面，成为新闻传播活动不可须臾离弃的手段和方式。近几年来，国内外的每一重大事件，几乎都在网络媒体引起强烈的反响和激烈的辩论，形成了一个言论的“自由市场”。新浪、搜狐等各大网站的新闻跟帖中，网民们每天都会就当下的热点或重大问题展开激烈的讨论，且对问题的讨论比较深入，进而形成强大的舆论影响。这些来自各网站的媒体言论与论坛（ＢＢＳ）及新闻跟帖中的具有建设性的看法和观点，甚至对有关部门的决策和施政产生了影响。二、建设目的任何事物都有两面性，网络就是一把双刃剑。一方面，网络的高速传播极大地提高了信息传播的效益，推动了人类社会的向前发展。另一方面，网络产生的舆情作为当今民情民意的集中表现，其巨大的影响力不仅是对社会重大事态发展的影响，也日益渗透到政治层面，逐渐成为政府倾听民生，了解民意的一个重要渠道，这也就加大了对社会管理的难度。在安全工作领域有一个著名的“海恩法则”，即任何严重事故都是有征兆的，如果能够尽早的发现这些征兆，并对其进行正确的解读，就有可能防患于未然。政府要赢得百姓的口碑就必须增强网络舆情应对的能力，而要增强这一能力首先要解决的就是如何做好“网络舆情监测”，只有建立完善网络舆情检测系统才能够更好的对网络舆情去伪存真，及时发现和消除虚假的、负面的信息；同时通过对网络舆情的有效分类和统计更好的了解人民关注重点，对政府决策提供更好的依据。三、建设方案舆情分析系统主要采用计算机系统的智能性，通过添加关键词和烈度判断指标等技术手段，对涉及科技层面的各类行业及舆情进行智能采集和分类，并可以与短信平台链接，与用户邮箱、微信链接，在采集到舆情信息后，经过后台的分拣和初步处理，推送到用户手机端、PC端，确保第一时间知晓舆情，为后续的舆情应对工作赢得时间。该系统主要由以下几个模块组成：1.舆情采集模块2.舆情分析模块3.舆情简报和推送模块4.舆情管理模块工作流程为用户通过舆情管理模块追加感兴趣网站的URL及关键词、舆情分析模块通过相应网络技术手段实时抓取各网站页面内容，通过舆情分析模块检索和统计定义的感兴趣内容，最终通过舆情简报和推送模块将报告推送至用户邮箱或手机等。舆情采集模块舆情采集模块主要利用网络爬虫技术，对URL库中的URL地址进行轮询，当发现新的页面产生时，自动将新的主页代码抓取至本地服务器磁盘中，网络爬虫工作流程如下：此外，因现在互联网中网站众多，对全部网站遍历一边要花费很长的时间，这势必影响对重要新闻的抓取速度，因此网络爬虫系统中会根据网站的大小，种类，关注度等制定一系列策略，保证大站数据、微博数据实时更新，以获取最新的动态和信息。舆情采集模块的采集范围主要包括：新闻类型网页采集；论坛贴吧网页采集；博客网页采集；微博内容采集；搜索引擎内容采集；自定义网站采集；视频媒体采集；境外网页采集等。舆情分析模块舆情分析模块通过对舆情采集模块所采集的数据按需求进行分析，通过集成信息聚合，数据挖掘和智能过滤技术等手段生成数据信息，并将采集到的信息进行全文索引，以支持亚秒级的全文检索。由于目前各网站新闻存在一定的重复性，因此舆情分析系统设计有自动排重和自动过滤功能，能够自动识别来自不同采集源采集到的重复文章内容，并根据实际需要选择全部保留还是去除重复文章。舆情分析模块还可以通过语义分析的方法自动对采集到的信息进行准确分类，包括自动聚类（将热点话题和讨论相关内容的不同文章进行归纳聚类，方便展现统一的热点内容，进行后期分析）和自动分类（根据事先定义好的内容分类原则，将收集上来的互联网信息自动分到相应的类别中，如按照时间段，地域范围，业务范围，主题趋势等进行分类，方便信息展现和内容查询）。系统还应该能够根据文章内容进行褒贬义分析，形成褒贬统计图。对于多个热点主题，系统可以分析主题之间的演化关系、聚类关系。对单个热点主题能对主题内的文章做出各种分析，包括地域分布、时间分布、传播路径等。通过对网络舆情峰值的系统分析，最终辅助舆情检测人员快速识别新事件、追踪已发现热点舆情事件，及时掌握互联网的舆情动态。舆情简报和推送模块舆情简报和推送模块可根据实际需要指定不同格式的报告和告警信息。报告格式可根据需要可考虑包含名称、作者、发表时间、类型和文章具体内容，同时系统可根据分析模块的分析结果生成多种类型的统计图表或分析图，并将报告自动推送至用户邮箱或只能手机，方便对舆情进行定时分析，及时发现问题。对于突发热点事件，系统可自动发送告警信息或邮