基于兴趣轻博客网站拓扑特性研究.docxVIP

基于兴趣轻博客网站拓扑特性研究 摘要：为了了解新型在线社会网络一一轻博客网 站的拓扑特性，该文以国内最大的轻博客网站一一点点网为 研究对象，根据用户间兴趣关系构建兴趣网络，从小世界效 应、无标度特征和中心度等角度对该网络进行了实证分析， 为进一步认识和研究轻博客网站奠定了基础。 关键词：轻博客；社会网络分析；复杂网络；拓扑特性; 中心性 中图分类号：TP393文献标识码：A文章编号： 1009-3044 (2013) 22-5033-04 根据Garry Tan 2013年一月的调查报告表明，2007成 立的轻博客网站Tumblr已经超越Facebook,成为美国年轻 人访问最多的社交网站［1］。随着Tumblr的迅速崛起，国内 也出现了各种类Tumblr的网站。2011年，许朝军成立了点 点网，此后新浪Qing网，网易的lofter.人人网的人人小 站、盛大推他等一批Tumblr的追随者都朝着轻博客的方向 大步前进。轻博客这种新型的在线社会网络(Online Social Network,简称OSN)极可能迎来一个高速发展期。同时， 轻博客在中国还是一个新生事物，国内尚未见相关研究。因 此，结合社会网络分析和复杂网络理论，研究轻博客网站的 拓扑特性，不仅能完善国内外对OSN拓扑特性的理论探索， 而且有助于了解轻博客中人际关系和信息传播的特征，同时 也对实现轻博客舆论的监测、引导、控制等提供重要依据和 基础。 1点点网的数据采集 本文选取国内典型的轻博客网站一一点点网作为研究 对象，这是因为相比其他，被称为“Tumblr中文版”的点点 网是最纯粹的轻博客，其网络结构特征具有很强的代表性。 1. 1面向点点网的网络爬虫 采集网站数据的方法有基于API的数据采集和基于网络 爬虫的数据采集。通过调用网站提供的API接口可以实现网 站数据的便捷抓取与解析，但也要注意：一是API内容开放 不全面，例如点点网API是在2011年12月才对外开放,API 的种类也很少，目前不到30个；二是API服务商对用户的 API接口调用频率与查询的返回结果的最大数量有限制，点 点网就规定查询的返回结果不超过20个；三是使用API接 口需要解决用户认证问题，如果待获取用户条目太多则会占 用大量系统开销等待用户授权许可。因此，该文在开源软件 Heritrix的基础上，采用基于网络爬虫的数据采集技术来获 取点点网的数据。 从图1可以发现，点点网在每篇轻博文下面都有“热 度”，标注喜欢、转载和推荐该文的用户列表。查看源码， 发现“热度”是一个内嵌网页，页面源码中内容比较少，更 多的内容实际上是采用AJAX (Asynchronous Javascript and XML)技术［2］加载出来的。如果直接用Heritirx原有的抓 取方法，抓取不到真正的用户列表。所以，必须对Heritirx 的Extracotr类进行扩展，扩展后的新类DiandianExtractor 重载extract方法，在抓取页面、抽取链接的时候，直接对 热度部分进行分析，通过Selenium WebDriver API驱 动浏览器内核PhantomJS,模拟浏览器获取AJAX内容，得到 和页面呈现一致的页面内容，再通过Jsoup解析页面内容， 并把分析结果存到MYSQL数据库里。至此，AJAX页面采集问 题得到真正解决。 1. 2数据集 据点点网自身统计数据显示，目前点点网注册用户数已 经达到1919万，帖子数达到3547万，数据采集量十分庞大 且处于动态变化之中，要获取整个网络的拓扑数据十分困 难，因此本文采用滚雪球采样法，依据“兴趣标签”，随机 选择两个标签下面的“杰出轻博客”的某篇轻博文作为种 子，利用点点网用户之间的兴趣关系进行广度优先搜索。搜 索页面的 URL 含有post/和 un/common/commentv ,前 一种页面主要由某用户发表的所有博文组成；后一种页面包 括所有“喜欢”、“转载”、“推荐”该用户博文的其他用 户列表。 数据采集器最终抓取近600万页面，总容量接近60G。 通过对这近600万页面信息的实时抽取，共1898356条记录 存放到MySQL数据库里。其中，数据表结构包括id、username （用户名）、inname （链入用户名）、type （链入用户是哪种 类型用户：喜欢、转载还是推荐）.link （该记录从哪个链 接得来的）。经过去重（从数据表中删除username和inname 都相同的记录），得到825057条可用记录用于后续网络拓扑 测量。 2点点网的拓扑特性 2. 1网络拓扑测量 3结论 本文选取国内最大的轻博客平台一一点点网作为研究 对象，根据采集下来的点点网样本数据，构造一个基于“发 文一喜欢、转载和推荐”互动的兴趣关系网络。通过