一种基于消息中间件网页实时处理技术.docVIP

一种基于消息中间件的网页实时处理技术 　　摘要：针对传统网页采集分析系统在实时性上的不足，提出了一种基于消息中间件的网页实时处理技术。该技术利用消息中间件在消息队列驱动流程中引入并行调度策略，既继承了传统网页处理系统的可靠性，又实现信息抽取、话题聚类和网页分类等模块的分布式并行处理，增强了系统的实时处理能力。实验证明该文提出的技术在舆情实时采集、处理中较传统方法实时性高。 　　关键词：消息中间件；网页处理；实时性；并行调度；舆情 　　中图分类号：TP391文献标识码：A文章编号：1009-3044(2011)10-2269-03 　　A Real-time Web Page Processing Technique Based on Message-Oriented Middleware 　　ZHOU Cheng, GE Bin, JIANG Lin-cheng 　　(Science and Technology on Information Systems Engineering Laboratory in National Univ. of Defense Technology, Changsha 410073, China) 　　Abstract: For the traditional web acquisition and analysis system lacking of real-time, this article proposed a web real-time processing technique based on message-oriented middleware. This technique not only inherits the simple principle of traditional web processing system to ensure the reliability of it; but also brings in parallel scheduling strategies, which make modules, such as information extraction module, topic clustering module and web pages classification module, achieve distributed parallel processing which further enhances the real-time processing capability of system. Experimental results show the proposed technique is more real-time than traditional method. 　　Key words: MOM; web page processing; real-time; parallel scheduling; public opinion 　　互联网已经被确立为继报纸、广播、电视之后的第四代媒体。网络的广泛普及、网络信息的爆炸增长和网民参与热情的空前高涨，使得对网络内容的监控和管理变得十分迫切。面对海量的互联网信息，人工监管费时费力，网络舆情监控系统应运而生。 　　网络舆情是指通过互联网传播的公众对现实生活中某些问题所持的有较强影响力、倾向性的观点和言论，是网民关注的热点，是民众讨论的焦点。网络舆情主要通过新闻评论、BBS论坛、博客、聚合新闻(RSS)、转贴等实现并加以强化，集中反映一个时期网络舆论的中心[1]。网络舆情监控系统是针对网络舆情进行信息采集、话题发现、热度评估、跟踪预警和分析处理的信息系统。在海量信息环境下，如何保证舆情分析的及时性和有效性，分析挖掘相关数据，以满足实用性要求，是舆情分析的难点。同时，舆情分析结果可为真实社会系统与人工社会系统的平行互动提供指导意义。 　　目前国内外大量学者对网络舆情进行了相关研究。Atkinson等[2]提出了一种近实时的多语种新闻监测与分析系统。该系统集成文本挖掘、机器学习、统计分析等技术，自动确定新闻文章报道的是谁，在何地，做何事，但是文章没有具体谈及如何实现近实时的问题。刘兰等[3]针对国内网络信息采集和保存现状，对网络信息采集方式进行梳理和分析，根据采集对象、采集目的和实施者的不同将网络信息采集归纳为四类，期望对网络信息采集与保存提供参考，但是该文章未针对网络采集信息的分析进行论述，缺乏实用性。丁杰等[4]描述了一个网络舆情监控系统，该系统试图将网络新闻及论坛上的帖子依关键词搜索，并依“事件”聚类，让管理者通过阅读事件可以了解正在发生或已发生的事