舆情卫士监测平台技术方案.pdfVIP

舆情卫士监测系统

技术方案

中国移动通信集团安徽省有限企业安庆分企业

5月

目录

1总体需求错误!未定义书签。

1.1建设目标错误!未定义书签。

1.2效需求错误!未定义书签。

1.2.1互联网海量信息采集子系统错误!未定义书签。

1.2.2海量信息存放子系统错误!未定义书签。

1.2.3海量信息检索子系统错误!未定义书签。

1.2.4互联网云数据分析处理子系统错误!未定义书签。

1.3性能需求错误!未定义书签。

1.4其余需求错误!未定义书签。

2技术方案错误!未定义书签。

2.1翼腾云计算概述错误!未定义书签。

2.2总体设计概述错误!未定义书签。

2.3系统架构图错误!未定义书签。

2.4业务流程图错误!未定义书签。

2.5数据中心介绍错误!未定义书签。

2.6.1海量互联网信息采集子系统借误!未定义书签。

通用采集技术错误!未定义书签。

2.6,1.2互联网信息采集错误!未定义书签。

2.6.2海量信息检索子系统错误!未定义书签。

2.6.3大数据分析处理子系统错误!未定义书签。

2.6.3.1信息及数据处理错误!未定义书签。

2.63.2舆情及敏感信息分析错误!未定义书签。

2.6.4用户权限管理错误!未定义书签。

2.6.5安全子系统错误!未定义书签。

2.6.6手机舆情错误!未定义书签。

能力，能够利用云数据分析技术进行深度比对、关联、分析和挖掘,

实现网上信息快速发觉。

1.2.1互联网海量信息采集子系统

网络媒体形式全，能够对各类网络媒体进行监测：

1）门户网站：系统可采集以媒体公布为主新闻网站信息；

2）论坛：各种形式BBS、贴吧、论坛、小区；

3）博客：各博客网站博客信息；

4）微博：各微博网站信息监测；

5）电子报：各类报纸电子报信息监测；

6）问答：对问答类网站采集；

7）视频：对视频网站文字信息采集；

8）WAP：对WAP网站信息采集；

9）搜索引擎：对搜索引擎信息聚合；

10）微信公众账号采集。

1.2.2海量信息存放子系统

实现海量采集文章数据（高并发）存放和相关查询统计业务（如

历史文章查询），并处理存放服务长久运行高可用性问题。

1）可存贮最少三个月历史数据;

2）可经过统一系统界面监测全部服务器运行情况，及时发觉并处

理出现任何情况；

3）具备完整容灾备份方案。

1.2.3海量信息检索子系统

采取分布式并行计算搜索框架，能对T级以上索引提供7*二十四

小时搜索服务。采取群集服务多服务器同时搜索数据，有效提升检索

速度，能够达成每秒处理100万次搜索速度。

1.2.4互联网云数据分析处理子系统

信息及数据处理主要是针对采集入库后数据进行整理、处理。主

要技术和效包含：

1（）漏斗式过滤技术：

采取漏斗式多重过滤技术，逐层过滤掉无关干扰信息，展现给用

户精准舆情信息和热点资讯。

2（）汉字分词：

采取基于自然语言处理技术汉字分词技术，对全做本处理，

为舆情分类、专题聚类、自动摘要、语义分析、检索等提供基础。

3（）要素分析

对全部采集信息，在抽取标题、起源网站、起源频道、公布人、

公布时间、链接、正、图片等元素后，形成结构化数据存放于舆情

库中。

4（）数据挖掘：

关键词是本系统筛选舆情信息主要规则，另外还采取数据挖掘方

法分析出主要舆情信息和有价值敏感信息，比如：

1）分析出舆情高发网站及频道；

2）分析出舆情高发人群；

3）推荐网民关注度高舆情；