网络爬虫在舆情监测中的实践探索.docxVIP

网络爬虫在舆情监测中的实践探索 　　摘要：互联网时代的来临，信息的传播速度加快，人民群众对于社会事件的意见表达越来越方便，为舆情监测的工作带来了不小的压力，该文首先对网络爬虫与舆情监测进行了简要概述;其次，对于网络爬虫在舆情监测发展中的重要性进行综合分析;最后，针对如何优化网络爬虫在舆情监测中的应用提出三点合理性建议。 　　关键词：网络爬虫;大数据时代;舆情监测 　　中图分类号：tp393文獻标识码：a 　　文章编号：1009-3044（2019）19-0046-02 　　随着信息时代的不断发展，互联网大数据时代的来临，对于舆论监测的能力也需要不断地升级，网络上言论更加自由，对于社会热点问题网民都愿意进行积极的讨论和意见的表达，为了社会的稳定发展和网络环境的净化需要对社会舆情进行监控，对舆论进行正确的引导，在舆情监测的工作过程中网络爬虫的应用实践越来越广泛，本文针对网络爬虫在舆情监测中的实践探索进行综合分析。 　　1网络爬虫与舆情监测概述 　　1.1网络爬虫概述 　　网络爬虫也称为网络蜘蛛，是一种互联网追逐者，根据相应的规则对网络上的信息进行收集和搜索，网络爬虫现今共具有四种形式：（1）传统式网络爬虫，是对于主要的门户网站都进行数据采集的一种方式，传统的网络爬虫由于数据多，尽管运行比较慢，但是信息的收集范围广;（2）聚焦式网络爬虫，也称主题式网络爬虫，是可以根据选择好的主题进行专项的信息搜集，针对特定的领域和主题，具有针对性地满足特定的需要;（3）增量式网络爬虫，是仅针对正在运行的网页进行搜集，可以保证信息的及时性，可以有效地减少信息收集的复杂程度，但是对于信息的收集不全面;（4）深层式网络爬虫，是针对互联网深层次的信息进行整合，一般是将信息形成表单的形式，表单有根据领域知识进行信息整合的表单与网页结构的信息分析整合表单[1]。 　　1.2互联网舆情监测现状 　　网络舆情是指人民群众对社会发生的热点事件以及对事件的后续发展保有什么样的看法，是在人民群众共同参与讨论后形成的社会舆论，现如今对于社会舆论的讨论大多存在于互联网上，国家和相关部门需要对社会舆论进行实时的监督和管控，国家要做到组织舆论、引导舆论、舆论批评和舆论监督，因此要在组织和引导舆论之前进行舆情的调查和监控。网民对于舆情的表达具有广泛性和及时性，每一个网络用户都可以自由地表达想法，由于网络发言过于自由，网民没有足够的自律，因此，网络上经常出现错误的信息传播，影响网络环境的健康有序。网络舆论在现今的发展中对于社会的影响是巨大的，人云亦云的现象也屡见不鲜，对于社会热点问题的表达需要进行舆情监测，做出及时的引导和管理。 　　2网络爬虫在舆情监测发展中的重要性 　　2.1网络爬虫具有的特质 　　网络爬虫具有三种特质，首先，广度信息搜索，互联网信息来源广泛、信息量巨大，运用网络爬虫进行信息收集时可以先用广度信息搜索进行初始的筛选，这样可以将大量的无用信息去除，只留下相关信息;其次，最佳信息搜索，是通过对主题最具相关性的信息进行收集，这一特质可以将信息整合的精准度进行提升，对于所需的信息进行最优化的整合，得到最有用的信息;最后，深度信息搜索，互联网信息有很多的链接，具有不同的层次，网络爬虫可以追踪溯源，钻到深层，寻找到信息的起源。网络爬虫根据三种不同的特质对信息进行多种方式的整合和抓取，可以提高信息的过滤程度，再应用到各个领域之中[2]。 　　2.2网络爬虫在舆情监测中的优势 　　网络爬虫可以帮助完善舆情监测的工作机制，通过对信息的综合分析可以建立相关的专业舆情管理部门，由专业人员对网络爬虫的信息进行监控、跟踪和整合，舆情监测的工作人员根据网络爬虫的特点可以对信息进行分析形成更准确的监测结果。网络爬虫对于信息的整理更加专业，可以形成对舆情工作的专业流程，专业平台，对微博、贴吧等社交平台进行实时的监控，运用主题网络爬虫的方式对某一话题进行持续的跟踪监测，可以提高对舆情监控的效率。网络爬虫的应用可以形成定期的舆情汇报，定时设置网络爬虫的舆情监测，通过平时的专业化管理，可以对舆情进行最新形式的监控，可以在事件热度升起前就形成舆情的前期准备，以备不时之需。 　　3如何优化网络爬虫在舆情监测中的应用 　　3.1网络爬虫技术的升级 　　网络爬虫现如今是舆情监测的主要手段，想要高效地完成舆论监测，必须从根本上提升网络爬虫的技术，网络爬虫抓取信息的速度通过科学技术手段进行升级革新，信息处理速度是衡量网络爬虫应用效率高低的基础手段，现今的网络爬虫对信息的抓取是隔一段时间进行一次信息的抓取，通过技术的革新将信息抓取隔断时间有效缩短。与此同时，还要增加网络爬