信息爬取工具MetaSeeker的介绍及其在微博中的应用.pdf

网络 信息爬取工具 MetaSeeker的介绍 及其在微博中的应用 刘丹 叶子青 周舒 唐瑶 粟妮 张璐妮 (北京邮电大学，北京海淀 100876) [摘 要】移动互联网为微博的发展带来了契机，如何深入理解微博用户的行为，从而利用好微博平台，这是政府相关管理机 构和网络营销企业共同关注的问题。从海量的微博数据中提取有用的数据就要依赖于网络爬虫技术，而选择合适的爬虫技术可 以使我们的研究简便且有效率。 关【键词】微博；网络爬虫；爬虫工具 中图分类号 ：TN971 文献标识码 ：A 文章编号 ：1008—1739(2015)10—72—2 Introduction ofInform ation CrawlingTool M‘‘etaseeker’’and Its Application in W eibo LIU Dan，YE Zi—qing，ZHOU Shu，TAN GYao，SU NiZHANG Lu—nj ， (BeijingUniversityofPostsandTelecommunication，Beijing100876，China) Abstract：MobileIntemethasbroughtanopportuniytforthedevelopmentofmicro—blogW(eibo)．Nowitisthecoml~onCOncem of governmentadministration andInternetenterprisetounderstandmicro—blogusers’behavior SOastomakegooduseofmicro—blog ， platform ·Toextractusefuldatafrom theillassofmi cro—blogdatalargelydependsonwebcrawlertechnology ． Appropriatechoiceof crawlertechnologyenablessimpleandefficientstudy． Keywords：m icro—blog；webcrawler；crawler—liketool 1引言 文件 ，且能够持续地 、大批量地提取 web信息，输 出带有语义 结构元数据的信息提取结果文件 ，可以高效地为信息服务系 统补充内容。 目前来说，微博 已经成为了 种·新型社交的重要媒介 ，以 实现 移动终端 j 联网的无缝连接，以及易用 、随意 、即 时 、传播快等特点，在不到三年 的时间内已发展成为重要的分 2关于网络爬虫技术 享 _r：具和 自媒体传播平台，成为人们网上生活的重要组成部 分。在使用微博的过程中，一一条微博的评论量与转发量会与什 网络爬虫技术是通过专门的_丁具实现对海量网络数据的 么因素相关引起了我们兴趣 ，故而希望通过捕捉大量的数据， 提取 、挖掘 。在大数据时代 ，数据即意味着财富，生活 中的很多 进行实证分析，来确定评论量与转发量的影响因素及其