舆情监测平台解决方案.docx

舆情监测平台解决方案

1工程背景及建设目标

1.1工程背景

随着互联网技术和应用的普及和开展，新闻、论坛、博客、微博客、视频网站等舆情产生速度、传播渠道等均呈现出爆炸式快速增长的态势，据初步统计，2009年以来，互联网网上具有负面影响的舆情数量同比增长了近2倍以上。目前主要存在以下问题拯待解决：

1〕网络舆情监测导控工作几乎完全是通过人工的方式开展的，手工发现关注网站的局部性、时间上的滞后性与信息发布的随意性、随时性之间的矛盾日益严重。

2〕缺乏舆情信息综合分析，导致分析关联能力缺乏。例如，特定舆情事件在新闻、论坛、微博、博客等不同来源上的关联分析。

3〕各分支在舆情信息的管理上缺乏统一的信息报送、舆情导控任务下发等业务流程的信息化工具支撑。

4〕目前，舆情导控体系中缺乏可量化的考核数据作为各级领导年底评分的依据；

在经过屡次现场充分调研的根底上，提出建设舆情综合导控系统的规划，制定一个统一的元数据标准和数据交换接口标准，作为舆情分析研判和考核统计的元数据，从而对互联网上传播的舆情信息进行准确查找、归类、排重、分析、研判、导控和核查，实现对互联网上各类海量数据快速分析处理，更加准确的掌握各类舆情信息传播的数量、范围、趋势、影响等情况，最终形成一套科学、全面、高效地掌握网上舆情监测导控系统。

1.2建设目标

系统建设总体实现目标是：能够全面、准确、及时的获取与“我”有关的网络信息，深层次的对互联网舆情信息进行分析和挖掘，通过统一的综合指挥系统实现舆情的及时上传和导控任务的集中下达，并从在线率、引导发帖、信息报送及任务下发等多方面综合考核，确保以互联网舆情监测小组为核心的整体监测成效。

1总体架构

1.1软件架构

整个系统设计分为数据采集子系统、舆情信息数据仓库、舆情研判分析子系统、引导指挥子系统、引导考核子系统几个局部。

.1.1数据采集子系统

负责对信息源头采集，采集子系统主要实现多线程、集群采集模式。满足工程采集深度和广度要求，采集深度按照需求可采集到新闻评论、微博转发数、粉丝数以及论坛的评论树回帖数等。

采集广度本系统提供通用采集配置，支持大局部新闻、论坛的采集，只需要配置URL即可实现采集。采集性能可以灵活配置策略，分为指定调度和随机调度两个模式。采集时效性可以定制。

舆情信息数据仓库

按照系统制定的数据标准支持外围系统数据接入，数据仓库设计分布式架构，通过集群方式扩展工程的规模。主要分为分布式储存与全文索引、关系数据库。同时对外提供API访问接口。数据入库经过数据的加工处理包括自动摘要、实体抽取、内容分类等操作为后续研判提供标准数据。

舆情研判分析子系统

侧重业务需求根据各项指标综合计算舆情热点、负面信息、专题分析等。系统创新设计了基于多层关键字不同权重的数据推送算法实现海量数据中自动推送用户真正关心的舆情线索。

引导指挥子系统

融合舆情管控业务流程。实现重大、敏感舆情信息的逐级上报及领导审核；可通过系统下发导控任务且短信提醒功能，确保导控任务通知及时、到位；

引导考核子系统

针对任务完成情况、导控情况、信息报送及在线等进行多角度考核，对网评员工作量和工作效果提供科学评估依据。

1.2关键技术

自动摘要

在舆情分析过程中，通过自动摘要简明、确切地描述聚出来话题的中心内容，摘要是以提供文献内容概括为目的，不加评论和补充解释。

基于统计的自动摘要也称为自动摘录,是将文本视为句子的线性序列,将句子视为词的线性序列。包括以下步骤:

原始文本处理:

按照计算机能够识别的形式输入文本信息,比方:键盘输入、手写录入、文本扫描、图形识别、语音识别等。

词语权重计算:

关键词进行词频统计。对原始文本信息中的句子权重计算:根据句子中词频等信息计算句子权重。其标准为:句子权重与句中所含关键词的数量成正比;文本信息中包含提示词,那么提高句子权重；文本信息中特殊位置上的句子权重增加;假设句子中包含废弃指示词那么句子权重减小;句子长度与句子权重成反比。

文摘句提取:

对原文中所有句子按权值上下降序排列,权值最高的假设干句子被确定为文摘句。

文摘句输出:

将所有文摘句按照它们在原文中的出现顺序输出。

自动聚类

采集回的互联网数据包罗万象，为减轻人工巡检舆情事件的负担以及撑控舆情事件的开展态势，系统定期对采集回的互联网数据进行自动聚类，形成近期互联网上最新、最热、敏感等话题。

自动聚类是基于相似性算法的自动聚类技术。根据文本内容的相似度，将内容聚合成不同的类别,同时对每一个聚得的类别，给出精确的类别主题词，包括最热话题、最新话题、敏感话题。主要包括以下几个步聚：

特征提取。

建立聚类相似矩阵，因为相似度是定义一个聚类的根底。

用算法进行聚类。

自动分类

目前，大局部网站采用了AJAX架构，页面代码分析无法获取网站分类信息，为了更加清