基于兴趣轻博客网站拓扑特性分析.docVIP

基于兴趣轻博客网站拓扑特性分析 　　摘要：为了了解新型在线社会网络——轻博客网站的拓扑特性，该文以国内最大的轻博客网站——点点网为研究对象，根据用户间兴趣关系构建兴趣网络，从小世界效应、无标度特征和中心度等角度对该网络进行了实证分析，为进一步认识和研究轻博客网站奠定了基础。 　　关键词：轻博客；社会网络分析；复杂网络；拓扑特性；中心性 　　中图分类号：TP393 文献标识码：A 文章编号：1009-3044（2013）22-5033-04 　　根据Garry Tan 2013年一月的调查报告表明，2007成立的轻博客网站Tumblr已经超越Facebook，成为美国年轻人访问最多的社交网站[1]。随着Tumblr的迅速崛起，国内也出现了各种类Tumblr的网站。2011年，许朝军成立了点点网，此后新浪Qing网，网易的lofter、人人网的人人小站、盛大推他等一批Tumblr的追随者都朝着轻博客的方向大步前进。轻博客这种新型的在线社会网络（Online Social Network， 简称OSN）极可能迎来一个高速发展期。同时，轻博客在中国还是一个新生事物，国内尚未见相关研究。因此，结合社会网络分析和复杂网络理论，研究轻博客网站的拓扑特性，不仅能完善国内外对OSN拓扑特性的理论探索，而且有助于了解轻博客中人际关系和信息传播的特征，同时也对实现轻博客舆论的监测、引导、控制等提供重要依据和基础。 　　1 点点网的数据采集 　　本文选取国内典型的轻博客网站——点点网作为研究对象，这是因为相比其他，被称为“Tumblr中文版”的点点网是最纯粹的轻博客，其网络结构特征具有很强的代表性。 　　1.1面向点点网的网络爬虫 　　采集网站数据的方法有基于API的数据采集和基于网络爬虫的数据采集。通过调用网站提供的API接口可以实现网站数据的便捷抓取与解析，但也要注意：一是API内容开放不全面，例如点点网API是在2011年12月才对外开放，API的种类也很少，目前不到30个；二是API服务商对用户的API接口调用频率与查询的返回结果的最大数量有限制，点点网就规定查询的返回结果不超过20个；三是使用API接口需要解决用户认证问题，如果待获取用户条目太多则会占用大量系统开销等待用户授权许可。因此，该文在开源软件Heritrix的基础上，采用基于网络爬虫的数据采集技术来获取点点网的数据。 　　从图1可以发现，点点网在每篇轻博文下面都有“热度”，标注喜欢、转载和推荐该文的用户列表。查看源码，发现“热度”是一个内嵌网页，页面源码中内容比较少，更多的内容实际上是采用AJAX（Asynchronous Javascript and XML）技术[2]加载出来的。如果直接用Heritirx原有的抓取方法，抓取不到真正的用户列表。所以，必须对Heritirx的Extracotr类进行扩展，扩展后的新类DiandianExtractor重载extract方法，在抓取页面、抽取链接的时候，直接对“热度”部分进行分析，通过Selenium WebDriver API驱动浏览器内核PhantomJS，模拟浏览器获取AJAX内容，得到和页面呈现一致的页面内容，再通过Jsoup解析页面内容，并把分析结果存到MYSQL数据库里。至此，AJAX页面采集问题得到真正解决。 　　1.2 数据集 　　据点点网自身统计数据显示，目前点点网注册用户数已经达到1919万，帖子数达到3547万，数据采集量十分庞大且处于动态变化之中，要获取整个网络的拓扑数据十分困难，因此本文采用滚雪球采样法，依据“兴趣标签”，随机选择两个标签下面的“杰出轻博客”的某篇轻博文作为种子，利用点点网用户之间的兴趣关系进行广度优先搜索。搜索页面的URL含有“post/”和“n/common/comment”，前一种页面主要由某用户发表的所有博文组成；后一种页面包括所有“喜欢”、“转载”、“推荐”该用户博文的其他用户列表。 　　数据采集器最终抓取近600万页面，总容量接近60G。通过对这近600万页面信息的实时抽取，共1898356条记录存放到MySQL数据库里。其中，数据表结构包括id、username（用户名）、inname（链入用户名）、type（链入用户是哪种类型用户：喜欢、转载还是推荐）、link（该记录从哪个链接得来的）。经过去重（从数据表中删除username和inname都相同的记录），得到825057条可用记录用于后续网络拓扑测量。 　　2 点点网的拓扑特性 　　2.1网络拓扑测量 　　3 结论 　　本文选取国内最大的轻博客平台——点点网作为研究对象，根据采集下来的点点网样本数据，构造一个基于“发文←喜欢、转载和推荐”互动的兴趣关系网络。通过开源工具Pajek统计点点