基于WUMWeb舆情监测引导系统研究.docVIP

基于WUMWeb舆情监测引导系统研究 　　摘要：网络舆情监测与引导是个复杂的技术和管理过程，必须充分利用Web使用挖掘技术的优势，提升网络舆情监测与引导的信息化、自动化和智能化。基于WUM的Web舆情监测引导系统，具有良好的可扩充性，可提高网络舆情监测与处理的及时性与准确性，有效地推动我国网络舆情预警与引导工作。 　　关键词：网络舆情；监测引导；Web使用挖掘 　　中图分类号：G203 文献标识码：A 文章编号：1007—9599 （2012） 14—0000—02 　　一、时代背景 　　近年来，网络、通讯等技术的发展之迅速，传播信息速度之快，参与民众之多，影响范围之广，已成为不争的事实。网络已成为大众获取信息、表达民意的重要渠道。在经济全球化、政治民主化、价值多元化特别是世界金融危机严重影响的大背景下，中国30年经济增长和社会转型所积累的各种深层次矛盾日益凸显，社会整体上已进入高速发展的黄金期和突发事件高发期。我国Web舆情监测引导系统的研究起步较晚，目前迫切需要提升与之相应的理论和技术支持。舆情分析与监测是信息深加工，以往“剪报”式低价值、粗加工的信息服务，虽可按主题范围搜集，但提供的结果仅局限于单一的信息内容。传统的人工分类收集方式，已无法应对现实需求。 　　二、Web舆情监测引导的技术支撑 　　（一）Web使用挖掘 　　在浩瀚的网络中，政府如果仅依靠人工完成Web上海量信息的收集和处理是不现实的。普通的数据库管理系统无法发现隐藏在数据中的规则和关系，并根据现有数据预测未来。Web挖掘的出现，为自动和智能地把互联网上的海量数据，转化为有价值的知识提供了保证。Web使用挖掘（Web Usage mining，WUM）可以追踪Web访问日志（Web access log）等有关用户访问和交互的信息，通过提取、转换、分析和其它模型化处理，提取用户的行为特征，发现信息存在特点和变化规律，以及信息内容的特定模式，利用历史数据预测未来的趋势。应用于网络舆情，可化被动防、堵为主动梳理、控制、监测和引导，为网络舆情应急处理提供极大地帮助。 　　（二）WUM过程 　　WUM分为数据收集、预处理、模式发现和模式分析四个挖掘阶段，如图1所示。 　　1.数据收集 　　网络信息的收集是网络舆情监测的源头，其广度和深度决定了监测效果。对于明确主题的舆情信息采集，可以借助搜索引擎方法。由于各个现存搜索引擎索引数据库的构造方法不同，其索引数据不尽完整，所以应将多个单搜索引擎搜索结果进行整合、调用、控制和优化。在Web中往复搜索可凭借启发模式、深度或宽度优先地发现相关信息，将Web空间按IP地址或域名划分为独立子空间仔细搜罗；或按照信息的具体类型来划分，如XML、HTML、FTP、Newsgroup、Word和各种音、视频格式文件等。Web舆情信息检索结果，可按相关舆情、人物、地区、机构、内容、正负面等划分，以不同维度分类统计展示，以便短时间内检索到精确信息。 　　2.预处理 　　预处理是为了从多个异构性的数据库、文件系统中提取并集成舆情数据，将形式不同的数据统一化，消除重复与冗余的数据。经过清洗数据，提取、分解、合成舆情信息，改进舆情数据质量，为舆情数据库表提供所需的源数据，提高后续挖掘精度和性能。例如，对采集到的Web舆情信息进行转换格式、清理和统计数据的初加工；对于新闻评议，剔除无关联数据，保存其发布的时间、来源、题目、内容、点击到达率、评议人、评议内容和数量等；对于BBS论坛，保存帖子题目、作者、发贴与回应的时间、内容、数量等，最后汇成标准化数据。 　　3.模式发现 　　利用Web挖掘算法，可以进行Web流量分析、典型的时间序列和用户行为模式分析、事务分析，发现网络信息传播交流的规律，创建、更新舆情模式库。若在模式挖掘中，一旦评估发现某一步骤与预期目标不符，都需重新调整，反复执行WUM步骤，各步骤间相互影响、不断反复，形成螺旋上升过程。 　　统计分析：利用统计、概率的原理对网络舆情数据各个关系中的属性进行统计分析。对用户浏览路径的长度和时间、页视图，进行访问量的时间分布、中间值、均值、频繁访问页和频率等的描述性统计分析，提高网络舆情挖掘的效率和质量。 　　路径分析：挖掘网站中最常被浏览的路径信息。对于信息搜集过程中的静态数据可采用该技术，用图的方法来分析Web页面间的路径关系。G=（V，E），其中：V是页的集合，E是页间的超链接集合，页面定义为图中的顶点，而页面间的超链接定义为图中的有向边。顶点v的入边表示对v的引用，出边表示v引用了其它页面，这样形成网站的结构图，从中可确定最频繁访问路径，此路径指向的信息极有可能就是互联网上的“热点”和“焦点”。 　　关联规则：发现Web用户访问站点的各种信息之间的联系，抽取数据项集间可能存在的潜在规则。利