网络舆情监测系统原理.pdf

Guangzhou Jmscan Internet Monitoring System Monitoring project 网络舆情监测系统原理 作者：简美网络 发布时间：2012 年2 月22 日星期三 广州市简美网络科技有限公司 五山路金山大厦北塔611 房 电话：020 第1 页 网络舆情监测系统原理 随着科技的发展，互联网已经成为当代人生活所不可或缺的 一部分，网络媒体也已逐渐成为信息资讯传播的主流。而网友的 任一言论，都可能随着网络扩散从而形成对某一企业机构有重大 影响力的舆论，若不加以及时的引导和约束，负面的网络舆情将 对社会公共安全形成较大威胁。 网络舆情检测控制系统，正是针对在一定的社会空间内，围 绕中介性社会事件的发生、发展和变化，民众对社会管理者产生 和持有的社会政治态度于网络上表达出来意愿集合而进行的计 算机监测的系统统称。其工作原理主要包括信息的抓取、信息的 匹配、信息的审查判定以及最终的分析报告。 一、信息抓取 信息的抓取，即通过信息抓取系统是向互联网发送请求并获 取与目标相关的互联网信息。其技术核心主要是如何能够全面、 快速的获取有关信息。 首先，舆情监控系统主要针对舆情高发区进行信息抓取，例 如论坛、新闻网站、微博等，但互联网的传播速度极快，这在一 定程度上要求工作人员能够对抓取的周期有较好的管理。抓取周 期是指信息抓取系统向同一个网址发送两次请求之间的时间间 广州市简美网络科技有限公司 五山路金山大厦北塔611 房 电话：020 第2 页 隔，抓取周期的设置对抓取信息的全面性、准确性和系统资源合 理利用有重要的影响。周期设置过大，节省系统资源，但对于一 些更新频率较高的网站容易出现漏抓，造成系统抓取数据的全面 性和准确性较低。周期设置过小，可大大减少数据漏抓，但对更 新频率较低的网站经常出现重复扫描，浪费系统资源，并造成系 统负载过大，以致系统不稳定甚至崩溃。 其次，如何快速的抓取有关信息是网络舆情监控系统的难 点，它要求能以最快的速度获取网络上最新的舆论情报，这要求 系统能很好的设置其抓取速度。抓取速度指的是从向指定网址发 送请求到抓取数据入库所需要的时间的大小。影响抓取速度的主 要有两大因素，一是硬件因素（主要包括服务器性能、服务器网 络环境、被请求服务器性能和网络环境），二是系统因素（主要 包括抓取入库机制、抓取周期机制）。较高的抓取速度有助于系 统整体性能的提升，更为重要的是对于直接的舆情信息能够更早 更直接的发现，以便更及时的处理。 二、信息匹配 信息匹配，信息匹配是指使用已设定关键词对抓取系统中提 供的信息进行逐条扫描比对，查看信息中是否按已定规则存在已 定关键词，有则二次入库、无则不入库。匹配完的信息按用户和 时间分别存储于不同数据文件中，以供审查时调用。信息的匹配 是双重的匹配，首先是舆情信息的匹配，即根据设定的关键词对 广州市简美网络科技有限公司 五山路金山大厦北塔611 房 电话：020 第3 页 所抓取到的信息进行匹配，判定其是属于有利的正面信息，或是 对其会产生不利后果的负面信息，亦或是中性信息。其次是将所 抓取的信息与监控目标进行相关匹配，判断这些正负面信息是否 会对监控目标产生影响，是否需要引起关注。 三、信息审查 信息的审查是指对舆情抓取系统抓取回来的海量信息进行 审查筛选，排除不相关信息从而得到监控目标真正所需要的舆情 内容，它既包括智能也包括人工审查。 智能审查是指监控系统通过所设定的程序对获取匹配后的 信息进行一定的判定，判定信息的正负面程度、与监控目标的相 关程度或者对其的传播范围、影响效果进行一定的特性分析。但 是，由于程序并不一定能全面的覆盖了审查的范围造成系统智能 筛选出的信息不一定全部都是可利用的，因此必须通过人工检 索，对平台监控出来的信息进行筛选，做到更精准地找到目标信 息，从而获取真正有效的资信。 四、分析报告 通过上述步骤最终得出信息后，通过人工或系统对数据进行 分析从而得出此次舆情监测控制报告。如系统自动发送的短信、 邮件报告，或监控系统中的报警系统针对舆情分析引擎系统的热 点信息与突发事件进行监听分