基于Python的新浪微博数据爬虫.PDFVIP

JournalofComputerApplications ISSN 1001—9081 2014—11．1O 计算机应用，2014，34(11)：3131—3134， CODENJYIIDU http：／／www．joca．cn 文章编号 ：1001—9081(2014)11—3131．04 doi：10．11772／j．issn．1001-9081．2014．11．3131 基于 Python的新浪微博数据爬虫 周 中华，张惠然，谢 江 (上海大学 计算机工程与科学学院，上海 200444) ( 通信作者电子邮箱 jiangx@shu．edu．an) 摘 要：目前很 多的社交网络研究都是采用国外的平 台数据，而国内的新浪微博没有很好的接 口方便研 究人 员 采集数据进行分析。为了快速地获取到微博中的数据，开发 了一款支持并行的微博数据抓取工具。该工具可以实时 抓取微博中指定用户的粉丝信息、微博正文等内容；该工具利用关键字匹配技术，匹配符合规定条件的微博，并抓取 相关内容；该工具支持并行抓取，可以同时抓取多个用户的信息。最后将 串行微博爬虫工具和其并行版本进行对比， 并使用该工具对部分微博数据作了一个关于流感问题的分析。实验结果显示：并行爬虫拥有较好的加速比，可以快 速地获取数据 ，并且这些数据具有实时性和准确性。 关键词：新浪微博；爬虫；Python；并行；大数据 中图分类号 ：TP391；TP311 文献标志码：A DatacrawlerforSinaW eibobasedonPython ZHOUZhonghua，ZHANG Huiran，XIEJiang。 (SchoolofComputerEngineeringandScience，ShanghaiUniversity,Shanghai200444，China) Abstract：Nowadays，mostofresearchesaboutsocialnetworkusedatafrom foreignsocialnetworkplatforms．However thelargestsocialnetwork plaftomr SinaWeiboin Chinahasno data interfacesforinvestors．A Sina Weibodata crawler combinedwithparallelizationtechnologywasputforward．ItgotfansinformationandWeibodatacontentofdifferentweibo usersinreal—time．Italsosupportedkeywordsmatchingandparallelization．Theserial datacrawleranditspraallelversion were compared， and an experimentaboutflu was conducted on some W eibo data． The results indicate that， with parallelization，thistoolhaslinerspeedupandallthefetchingdataarewithtimelinessandaccuracy． Keywords：SinaWeibo；crawler；Python；parallel；bigdata 公开的微博数据集供人们下载，但是这些数据集通常规模 比 0 引言 较小，而且还缺乏实时性。有些技术力量强劲、资源充足的研 计算机技术的进步使人们的生活方式逐渐发生改变，社 究