基于mapreduce模型的大规模社交网络高效分析算法研究-信息与通信工程专业论文.docxVIP

副 副uq辞时四 附件四 上海交通大学 学位论文原创性声明 本人郑重声明:所呈交的学位论文，是本人在导师的指导下， 独立进行研究工作所取得的成果。除文中已经注明引用的内容外， 本论文不包含任何其他个人或集体已经发表或撰写过的作品成果。 对本文的研究做出重要贡献的个人和集体，均已在文中以明确方式 标明。本人完全意识到本声明的法律结果由本人承担。 学位论文作者签名:找完去 日期: 1014 年 l 月号日 副 副uq潜菌 附件五 上海交通大学 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定， 同意学校保留并向国家有关部门或机构送交论文的 复印件和电子 版，允许论文被查阅和借阅 。本人授权上海 交通大学可以将本学位 论文的全部或部分内容编入有关数据库进行检索，可以采用影印、 缩印或扫描等复制手段保存和汇编本学位论文。 保密口，在 年解密后适用本授权书。 本学位论文属于 / 不保密归。 (请在以上方框内打 ，J) :-1学位论文作者签名 :钱壳立 旨导教师签名 _1 :-1 · 飞子也之才 日期: }0/4 年 1 月主日 日期:-vt l((-年 1 月 3 日 2 万方数据 万方数据 上海交通大学 学位论文原创性声明 本人郑重声明：所呈交的学位论文《基于 MapReduce 模型的大规 模社交网络高效分析算法研究》，是本人在导师的指导下，独立进行 研究工作所取得的成果。除文中已经注明引用的内容外，本论文不包 含任何其他个人或集体已经发表或撰写过的作品成果。对本文的研究 做出重要贡献的个人和集体，均已在文中以明确方式标明。本人完全 意识到本声明的法律结果由本人承担。 学位论文作者签名： 日期： 年 月 日 上海交通大学 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定， 同意学校保留并向国家有关部门或机构送交论文的复印件和电子版， 允许论文被查阅和借阅。本人授权上海交通大学可以将本学位论文的 全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫 描等复制手段保存和汇编本学位论文。 保密□，在 年解密后适用本授权书。 本学位论文属于 不保密□。 （请在以上方框内打“√”） 学位论文作者签名： 指导教师签名： 日期： 年 月 日 日期： 年 月 日 上海交通大学硕士学位论文 上海交通大学硕士学位论文 基于 MapReduce 模型的大规模社交网络高效分析算法研究 摘 要 自从 Web 2.0 的兴起，在线社交网络吸引了许多国内外研究者的 兴趣。这些社交网络有许多独特的结构性质如度的幂律分布、极短的 网络半径和较明显的社区聚集特性。这些结构方面独特的性质直接或 间接影响着网络中的信息传播以及人与人之间的交流互动，对于研究 人类社会的组织架构形式以及人际关系的演化方式有着极为重要的作 用。目前主流的社交网络的用户数已达到上亿规模，而用户之间的关 系则达到了几十亿甚至上百亿的数量级。传统的工具（如关系型数据 库）以及传统的算法（基于单 CPU 的串行算法）已无法胜任。 针对探索在线社交网络结构的问题，本文主要以新浪微博和 Twitter 为例，并参照对比了其他有向社交网络的测量结果，全面探究 了在线社交网络的结构特征，包括度的分布、关系的相互性、聚集性、 度的相关性、路径长度和社区等。其中，新浪微博的数据集是本文通 过一个分布式爬虫，经过 3 个月的时间从其网站爬取的结果，包含了 1.35 亿个用户和 104 亿条关系。 针对大规模在线社交网络数据的处理问题，本文提出了若干种基 于 MapReduce 模型的社交网络分析算法。其中最基础最核心的是半并 行广度优先搜索算法。该算法在运算量和 I/O 负载等性能方面都要远 远优于业界公认的图的挖掘算法类库——Pegasus。本文给出了所提出 算法的理论性能分析结果，同时基于新浪微博的网络结构特征给出了 经验性能分析结果和实测结果。 关键词：在线社交网络，MapReduce，广度优先搜索，新浪微博 I Algorithms in MapReduce for Large-scale Social Network Mining ABSTRACT With the rise of Web 2.0, online social networks have attracted both domestic and foreign researchers. These networks share a lot of peculiar topological characteristics, such as power-law degree distributions, very short path lengths and tightly