舆情监测系统中信息采集模块的设计与实现 - 南华大学学报·社科版.pdf

第29卷第2期 南华大学学报(自然科学版) Vol郾29 No郾2 2015年6月 Journal of University of South China(Science and Technology) Jun郾2015 文章编号:1673-0062(2015)02-0102-06 舆情监测系统中信息采集模块的设计与实现 刘志明,王摇 琨 (南华大学 计算机科学与技术学院,湖南 衡阳421001) 摘摇 要:网络舆情已经成为反映当今社会舆情重要组成部分,具有传播速度快、信息 多元化等特点.建立舆情检测系统能够对大规模网络数据进行采集、挖掘和分析,对 网络舆情热点话题进行及时的发现和追踪,为各单位和组织应对舆情危机提供科学、 系统的支持.通过对网络爬虫搜索策略、大规模URL去重、页面识别等技术的研究和 改进,实现一个高效、快捷的网络爬虫系统. 关键词:舆情监测;信息采集;网络爬虫;搜索策略 中图分类号:TP393摇 摇 摇 文献标识码:B Design and Implementation of Information Collection Module in the Monitoring System of Public Opinion LIU Zhi鄄ming,WANG Kun (School of Computer Science and Technology,University of South China,Hengyang,Hunan421001,China) Abstract:In today爷s society,with the features of rapid propagation speed and information diversified,etc. ,Internet has become an important way for public to show their opinions. Thus a system which can acquire,mine and analyze public opinion,timely find and track hot topics on internet will provide great support to institutions and organizations when re鄄 spond to public opinion crisis.The improvement on web crawler search strategy,URL du鄄 plication removal tech and webpage recognition tech will realize it. key words:public opinion monitoring;information abstraction;crawler;search strategy 况统计报告》显示中国网民规模达6.18亿,全年共 0摇 引摇 言 计新增网民5358 万人.互联网普及率45郾8%,较 截止2013年12月,根据中国互联网络信息中 2012年底提升3.7个百分点,其中10~19 岁年龄 心(CNNIC)发布的《第32次中国互联网络发展状 段上网人数所占比例为21.1%.从以上数据来看, 收稿日期:2014-11-09 作者简介:刘志明(1972-),男,湖南浏阳人,南华大学计算机科学与技术学院教授,博士.主要研究方向:大数据检 索与挖掘、高可信计算、核设施三维仿真等. 第29卷第2期 刘志明等:舆情监测系统中