社交网络数据采集技术研究与应用.pdfVIP

第 44 卷第1 期 Vo l. 44 No. 1 计算机科学 2017 年 1 月 COMPUTER SCIENCE Ja口.2017 社交网络数据采集技术研究与应用 徐雁飞刘渊吴文鹏 (江南大学数字媒体学院 无锡 214122) 摘 要 随着社交网络的快速发展，对其研究也逐步深入。显然，社交网络基础数据的获取对研究具有非常重要的意 义。针对目前已有的数据采集方案，根据新浪授权标准以及最新的微博加密方式，研究了两种采集方案:1)经 OAuth2. 。认证后，通过微博 API 接口获取数据;2) 在 RSA2 加密方式下模拟登录微博，再通过网络爬虫抓取数据。 同时，还研究了通过网页采集器针对微博编写适当的采集规则进而实现对数据的获取。 3 种数据采集方案都能有效 地对数据进行采集且各具特点，针对数据的采集需求，提出融合不同的采集方案的策略。经实验研究，方案的融合策 略可快速、高效地实现大数据量的采集。 关键词 Python ，微博 API，模拟登录，网络爬虫，采集器，融合策略 中图法分类号 TP393 文献标识码 A DOI 10. 11896/j. issn. 1002-137)ι2017.01. 051 Research and Application of Social Network Data Acquisition Technology XU Yan-fei LIU Yuan WU Wen-peng CSchool of Digital Media ,Jiangnan University ,Wuxi 214122 ,China) Abstract With the rapid development of social networks ,the study on it is also gradually deepening. Obviously ,the ac- quisition of basic data of social networks has very important significance to the study. In this paper ,aiming at the exis ting data acquisition programs ,according to the Sina authorization standards and the latest microblog encryption ,the pa- per studied two kinds of acquisition programs. One obtains data through the API interface after the OAuth2. 0 certifica tion ,and another crawls data through the Web crawler after being simulated by the RSA2 encryption. At the s旧时 tlme , it also studied the acquisition of the data by using the appropriate acquisition rules for the microblog. Three kinds of da ta acquisition programs are able to colle