社交网络挖掘方案研究.pdfVIP

2015年2月 15日 现代电子技术 Feb．2015 第38卷第4期 Modem ElectronicsTechnique V01．38No．4 社交网络挖掘方案研究 俞忻峰 (南京理工大学 ，江苏 南京 210014) 摘 要 ：随着社交网络普及，社交网络的数据获取成为首先要解决的问题。针对如何获取社交网站的数据 ，提 出了基 于API和网络爬虫的两种方法。通过采取对比试验，分别用两种方式在单位时间内抓取微博，比较抓取的微博条数。实验 结果表明，基于API抓取的速度比较快，但是稳定性和数据完整性欠佳 ；基于网路爬虫方式抓取的速度比较慢，但是稳定性 和数据完整性较好。最后提 出通过采用两种方式相结合的方式，能够进一步提高抓取效率。 关键词：新浪微博；数据挖掘；AndroidSDK；新浪API；网络爬虫；信息采集 中图分类号：TN911-34；TP3l1．5 文献标识码 ：A 文章编号：1004—373X(2015)04．0025．05 Dataminingschemeofsocialnetworks YUXin—feng (NanjingUniverBityofSciertceandTechno[ogy，Nanjing2t00i4，China) Abstract：With thepopularity ofsocialnetworks，dataacquisition ofsocialnetworksbecomesanurgentproblem．Two methodsbasedonAPIandwebcrawlerareproposedforthedataacquisitionofsocialnetwork sites．In acontrasttest，thetwo methodswerearrangedtograbthemicrobloginaspecifictime．Theresultsshow thattheacquisitionbasedonAPIisquickbut dataincomp|etenessandgrabbinginstabilityarenotgoodenough，theacquisitionbasedonwebcrawlerisslow butdataincom— pletenessandgrabbinginstabilityarebetter．A schemecombiningtwomethodsisputforwardtofurtherimprovetheefficiencyof dataacquisition． Keywords：Sinamicroblog；datamining；Android；SDK；SinaAPI；webcrawler；informationacquisition 根据中国互联网络信息中心(CNNIC)发布了第33次 (2)黄延炜等人研究的利用网络数据采集设备直 《中国互联网络发展状况统计报告》指出：社交网站的整体 接截取微博在网络中的传输数据p1，这种方法和网络爬 覆盖率为61．7％，中国互联网用户总数已经达到6．18亿， 虫相似，效率不高，对数据的提取过程十分复杂。 互联网的渗透率已经达到67．8％。其中微博等社交网络 本文主要立足于如何获取新浪微博上的数据展开 的使用规模为2．81亿，网中微博的使用率l为45．5％。 研究 ：采取两种方法来获取新浪微博上的数据。第一种 社交网络的使用率越来越高，微博等社交应用在越 方法是基于微博第三方应用接 口的(API)，对接 口编程 来越流行。微博相比传统网络的