舆情分析系统技术方案doc.doc

舆情分析系统 设计方案 四川省计算机研究院 二○一○年八月  目 录 1 项目背景 1 2 系统设计 3 2.1系统架构 3 2.2 技术路线 3 2.2.1 数据采集 4 2.2.2 数据预处理 4 2.2.3 舆情分析 5 2.3 可扩展性 5 2.3.1 容量性能扩展 5 2.3.2 效率扩展 10 2.3.3 接口/功能扩展 10 3系统功能设计 11 3.1 知识管理子系统 11 3.1.1 主题检索 11 3.1.2 主题查看 11 3.2 辅助决策支持子系统 11 3.3 舆情服务子系统 12 3.3.1 自动摘要 12 3.3.2 关键词检索 12 3.3.3 自动分类 12 3.4 内容管理子系统 12 3.5 用户管理子系统 13 4 关键技术 14 4.1 敏感识别技术 14 4.2 热点分析技术 16 4.3 话题深度分析技术 18 5 系统安全防护 21 5.1 网络安全 21 5.1.1 加密技术 21 5.1.2 身份认证技术 22 5.1.3 外部网安全 22 5.2数据灾备设计 23 5.2.1 数据同步 24 5.2.2 业务接管 24 5.2.3 数据恢复 25 1 项目背景 舆情是指在一定的社会空间内，围绕中介性社会事件的发生、发展和变化，民众对社会管理者产生和持有的社会政治态度。它是较多群众关于社会中各种现象、问题所表达的信念、态度、意见和情绪等等表现的总和。网络舆情形成迅速，对社会影响巨大，不仅需要各级党政干部密切关注，也需要社会各界高度重视。 随着 因特网在全球范围内的飞速发展，网络媒体已被公认为是继报纸、广播、电视之后的“第四媒体”，网络成为反映社会舆情的主要载体之一。网络环境下的舆情信息的主要来源有：新闻评论、BBS、聊天室、博客、聚合新闻(RSS)。网络舆情表达快捷、信息多元，方式互动，具备传统媒体无法比拟的优势。 网络的开放性和虚拟性，决定了网络舆情具有以下特点：1、直接性，通过BBS，新闻点评和博客网站，网民可以立即发表意见，下情直接上达，民意表达更加畅通；2、突发性，网络舆论的形成往往非常迅速,一个热点事件的存在加上一种情绪化的意见,就可以成为点燃一片舆论的导火索；3、偏差性,由于发言者身份隐蔽，并且缺少规则限制和有效监督，网络自然成为一些网民发泄情绪的空间。在现实生活中遇到挫折,对社会问题片面认识等等，都会利用网络得以宣泄。因此在网络上更容易出现庸俗、灰色的言论。 与国外相比，我国网络舆情还存在以下特殊情况：一是由于历史的原因，我国曾长期处于封闭状态，容易受到外来思想文化的冲击。二是目前我国正处于社会转型期，不可避免地存在诸多矛盾，容易使一些人出现情绪化冲动，以致不能明辨是非。三是少数社会管理者对于舆论习惯于回避或堵塞。 因此，网络这把锋利的“双刃剑”在提供了下情上达的便捷方式的同时，也对我国政治安全和文化安全构成了严重威胁，具体表现在以下三个方面：一是西方国家利用网络对我国进行“西化”、“分化”，网上思想舆论阵地的争夺战日趋激烈。二是传统的政治斗争手段，在网上将以更高效的方式实现，利用网络串联、造谣、煽动将比在现实中容易得多，也隐蔽得多。三是通过网络，西方的观念、生活方式可以便捷地渗透进来。 对于网络舆情的这些特点，社会管理者应当了然于心。对现实中出现的各种网络舆论，社会管理者应能做出及时反馈，防微杜渐，防患于未然。因此，必须利用现代信息技术对网络舆情予以分析，从而进行控制和引导。 2 系统设计 2.1系统架构 网络舆情分析系统架构图 2.2 技术路线 舆情分析系统从数据采集到最终的发布包括四个步骤：数据采集、数据预处理、舆情分析和舆情发布，如图所示： 舆情分析步骤 通过采集系统将用户关注的网站信息自动收集，然后通过预处理，得到网页正文内容，对其主题进行分析，最后将分析结果进行发布。 2.2.1 数据采集 数据采集是通过遍历用户关注的网站列表，抓取其网站内容，并且根据其源文件生成下级URL列表，将列表中网页源文件抓取出来存入数据采集数据库中。工作流程图如下所示： 数据采集工作流程图 2.2.2 数据预处理 收集到的网页信息包含很多HTML标签等与正文内容无关的信息，因此需要对网页主题内容进行提取。网页主题内容的提取当前已经成为web信息处理中的研究热点。通过研究表明，通过提取主题信息可以减少一半的浏览时间。对于网页分类来讲，网页主题提取是数据与处理中的至关重要的环节。 同传统的中文文本相比，网页结构要复杂得多，网页文档中除了主题信息外往往包含很多“噪音”内容，这些“噪音”内容包括广告信息、超链接、图片和flash等等。 2.2.3 舆情分析 通过对训练集进行特征提取以及向量表示，生成向量空间模型，然后与预处理文本进行比对，从而得出预处