基于网络爬虫新浪微博数据获取方式研究.docVIP

基于网络爬虫新浪微博数据获取方式研究 　　摘要：随着Web2.0时代的到来，微博正逐步成为公共信息传播的主流媒体，如何高效率地获取完整的微博数据显得极为重要。该文以新浪微博的评论内容为研究对象，利用模拟登录[1]下网络爬虫、调用新浪微博API[2]以及通过微博手机版[3]中接口等三种方式进行数据采集，对比采集速率以及采集到的内容。实验表明，在采集微博评论时可以使用新浪微博API获取关注用户最新微博ID，使用模拟登录的方式针对这些ID获取对应微博评论，在保证数据完整性的前提下实现了采集速率的最大化。 　　关键词：模拟登录；微博API；网络爬虫；数据采集 　　中图分类号：TP311 文献标识码：A 文章编号：1009-3044（2017）33-0009-04 　　1 概述 　　21世纪是移动互联网迅猛发展的世纪，Facebook 、Twitter、新浪微博等一系列社交网络应运而生，使得人们获取信息的方式有了翻天覆地的变化。同时，随着社交网络的用户量急剧增长，以交友、信息共享?槟康牡纳缃煌?络[4]迅速成为人们阐述观点、传播信息、推广营销的理想平台，因此，越来越多的研究人员参与其中来进行多方面内容的研究。根据《第39次中国互联网络发展状况统计报告》中的数据显示，截止2016年12月，我国网民规模达7.31亿，相当于欧洲人口总量，互联网普及率达到53.2%。中国互联网行业整体向规范化、价值化发展，同时，移动互联网推动消费模式共享化、设备智能化和场景多元化。国内移动大数据服务商QuestMobile发布2016年度报告――“2016年度App价值榜”，数据显示，2016年12月，微博月活跃用户数再次实现46%的增长，在所有App中排名第8位，其中高价值用户比例高达76.3%，因此，微博数据研究是非常有意义的。 　　如何高效并准确地从社交网络中将所需要的信息检索出来十分重要，本文以新浪微博评论数据作为实验研究对象，所涉及实验均在Java语言环境下实现。研究了在模拟登录下通过网络爬虫，微博API接口以及微博手机版提供的接口进行数据获取的方案，并针对数据提取目标提出了融合方案。最后通过分析各采集方案的利弊，进一步提出采集方案融合的策略，得出API接口与网络爬虫融合能保证数据完整性并提高采集效率。 　　2 信息检索技术 　　信息检索[5]领域的先驱Gerard Salton提出，信息检索是关于信息的结构、分析、组织、存储、搜索和检索的领域。这一定义应用于今天仍然十分合适、非常准确。信息检索的主要焦点一直是文本和文本形式的文档，而文档与结构化数据库最重要的却别在于，文档中的大部分信息以文档形式存放，文本没有结构。因此，如何从社交网络中通过信息检索技术检索出所需要的文本数据，并将其转换为易于使用的结构化数据持久化到数据库中是非常重要的。 　　在对社交网络数据获取中，爬虫是一种较为常见的方式，爬虫通过追踪网上的超链接可以获取到互联网中对应的资源。如何能高效地获取到这些资源，保证资源的准确性，并在资源发生变化时保证所获取的资源是最新的非常具有挑战性。由爬虫获取到的资源通常都不是纯文本形式，微博中通常可以获取到HTML、JSON、XML等形式的资源数据。我们需要将这些形式的数据处理后，转换为文本文档以及与这些文档对应的结构化数据，并存放在文档数据库中。 　　爬取是指自动地发现并下载网页，网络爬虫指的是下载网页的程序。网络爬虫在爬取过程中通常需要面临的三大难题。第一，互联网规模过于庞大，对需要获取资源的定位比较困难；第二，互联网上的网页通常不受搜索爬虫数据库创建者的控制，数据结构可能经常发生改变；第三，站点拥有者可能不希望我们获取到其中一部分数据，并且频繁访问资源可能会被屏蔽掉。 　　3 数据采集方式 　　3.1 通过模拟登录进行数据采集 　　互联网上的每个资源都有自己唯一的资源定位器（uniform resource locator），即URL。URL主要由三部分组成：协议方案、主机名、资源名。微博中主要使用超文本传输协议与客户端进行交互，主机名为，URL指向微博中一项具体的资源。而微博中大部分页面需要登录才能得到完整信息[6]，因此想要通过程序获取微博信息，必须要解决模拟登录问题。 　　通过对微博网页版登录方式的分析发现[7]，主要登录步骤是： 　　1） 向微博服务器发送一个get请求，浏览器返回名为servertime和nonce的随机字符串。 　　2） 使用BASE64加密微博账号，使用RSA算法对（1）中的servertime和nonce以及微博密码三个值组成的字符串加密，向微博服务器URL发送包含加密过的账号以及密码的post请求。 　　3） 服务器收到请求后进行验证，验证成功后重定向一个URL给客户端，浏览