基于MapReduce的微博文本采集平台.pdf

V01．39 第39卷第11A期 计算机科学 No．11A 2012年11月 Science NOV2012 Computer 基于MapReduce的微博文本采集平台 于留宝胡长军苏林晗 (北京科技大学计算机与通信工程学院 北京100083) 摘要微博不仅数据量大，而且实时性高，采用传统的Web文本爬取方式，很难在短时间内获取足量的微博。为了 解决研究微博数据面临的数据采集问题，提出了基于MapReduce的微博数据采集平台，将整个微博抓取系统部署在 博采集过程中因输入数据过小导致hadoop不能有效均衡负载的问题，提出了采用多个小文件的输入方式，有效地解 决了负载不均衡的问题。最后以Sina微博为例进行结，结果表明，该系统成本低、扩展性好、效率高，可广泛应用于基 于微博数据的舆情分析以及传播学和虚拟社会学等方面的研究，并作为其基础数据采集平台。 关键词Hadoop，MapReduce，微博，数据采集，Sina 中图法分类号TP311文献标识码A Collection Data Basedon Micro-blogs MapReduce YULiu-baoHU SULin-han Chang-jun of andCommunication (School ofScienceand 100083，China) Computer Engineering，UniversityTechnologyBeijing，Beijing Abstract isnot volumesofdatabutalso itisdifficulttoobtainsufficient only real-time，while Micro-blogs large high in asbort oftime traditionalWebtext the methods．Tosolve aboutdata micro-blogsperiod byusing crawling problem collectionwhen the adatacollectionbasedon whichis researchingmicro-blogs，this paperpresents platfo