网络舆情监测系统探究和实现.docVIP

网络舆情监测系统探究和实现 　　〔摘 要〕网络舆情作为一种重要的舆情形式，具有形成速度快，受众人群广等特点，对国家和社会的影响越来越重大。互联网用户可以自由地在微博、论坛、博客等中发表有关社会中各类现实问题的态度和意见。监测网络舆情的主要手段就是利用网络爬虫对目标网络的页面数据进行挖掘，然后对挖掘的数据进行分类处理，并科学地统计舆情信息。本文主要分析网络舆情的特征和处理对策，并利用网络爬虫、全文检索、关键词评分、以及科学数理统计等手段对网络舆情监测系统的原理进行探索与系统实现。 〔关键词〕网络舆情；爬虫；关键字排名 DOI：10.3969/j.issn.1008-0821.2013.11.009 〔中图分类号〕TP301 〔文献标识码〕A 〔文章编号〕1008-0821（2013）11-0038-04 舆情是民众关于现实社会中各种现象、问题所表达的政治信念、态度、意见和情绪的总和[1-2]。网络舆情信息是指社会民众通过互联网这一媒介所表达的情绪、态度、信念、意识、思想、意见、要求和行为方式等方面的综合表现，是对现代社会物质、政治、精神和社会4个文明建设活动的各种反映[3-5]《2012年互联网舆情分析报告》蓝皮书指出，2012年微博成为社会舆情的发动机，在本年网民重点关注的是社会转型、环境问题、钓鱼岛问题、南海问题等热点话题。据统计2012全年关于“钓鱼岛与反日游行”话题的网络博文合计17 742万篇，“伦敦奥运”话题博文7 583万篇，“神舟九号与天宫一号对接”的话题博文3 923万篇。由此可见，网络舆情基本都是在短期爆发的，且影响范围广泛，都是些对国家、对社会意义深远的热门话题。因此，对网络舆情进行监测分析是十分必要的。随着科技的发展，计算机技术的迅速普及与推广，网络为社会各阶层的人们提供了广阔、自由的交流平台[6]，互联网成为了社会网络舆情传播的主要平台。而网络舆情主要来自于BBS、博客、微博、点评等，在网络中网民平等的表达着自己的观点，可以说真话，也可以说假话，言论相对自由，网络的开放性直接决定了网络舆情的直接性、突发性、偏差性。网络舆情的独立属性，信息流和环境会影响舆论的传播[7]。网络舆情主要来自BBS、博客、微博、点评等，在网络中网民平等的表达着自己的观点，言论相对自由，网络的开放性直接地决定了网络舆情的直接性、突发性和偏差性。本文设计的网络舆情监测系统，主要考虑以下几个方面：（1）对主流的社交网站、门户网站的网页、帖吧、文本文件、新闻评论、微博、博客等近期发布的信息，进行分类存储处理。（2）对指定的网站上的近期信息，包括网页、帖吧、文本文件、新闻评论、微博、博客等数据进行采集与归类存储处理。（3）对采集到的各种数据进行关键字分词处理，分词存储，分词评分，分词排名等处理。（4）建设关键字检索系统，检索的结果按照标题与内容的综合评分进行合理的排序。（5）本网络检测系统，采用合理的框架，预留更多未来开发的扩展接口，方便开源与二次开发。 2013年11月第33卷第11期现？代？情？报Journal of Modern InformationNov.，2013Vol.33 No.112013年11月第33卷第11期网络舆情监测系统的研究与实现Nov.，2013Vol.33 No.111 系统的主要功能模块 1.1 网络舆情的采集模块根据设置的检索条件，如限定域名的http：∥./的所有页面的信息，将采集的数据适当的过滤，留下有用的关键数据。爬取的对象为重点新闻网站、知名社交网站、各大论坛，博客，以及政府网站等。 1.2 数据处理模块对从网络上采集而来的数据进行处理，处理的手段包括：归类、分词、标注、加权、存储优化等。 1.3 关键字检索为本网络舆情监控系统提供一个搜索引擎的功能，方便对网络蜘蛛爬取的数据进行查看管理。在一次检索的基础上，提供二次检索。提供智能的检索方案，按字索引、按词索引以及字词混合索引，对检索结果进行排名与统计。 1.4 舆情分析与统计舆情分析是对舆情进行深层次的思维加工和分析研究。主要包括内容分析法和实证分析法。内容分析法对信息内容进行客观系统的定量分析，提示信息所含有的隐性情报内容，对事物发展做情报预测。实证分析法是通过分析大量案例和相关数据从而得出结论的一种研究方法。经过分析后，可以自动提取关键字，提取一段完整的内容进行智能提取摘要，也可以根据已经设置的检索条件进行动态地提取摘要。对标题进行分词检索与排名。智能识别数据并归档到本地数据源。网上数据的表示可以采用“点”与“线”组成的模型图，来表示互联网中的各类数据。用“线”来表示各个页面之间的URL链接关系，用“点”来表示网络中的各个页面。在这样的一个由点线组成的网状结构的图形中，每一个点与线都表