分布式环境下大规模图数据上距离查询研究-计算机科学与技术专业论文.docx

国内图书分类号：TP393.02 学校代码：10213 国际图书分类号：004.9 密级：公开 工学硕士学位论文 分布式环境下大规模图数据上 距离查询研究 硕士研究 生： 赵振财 导 师 ： 骆吉洲 申 请 学 位 ： 工学硕士 学 科 ： 计算机科学与技术 所 在 单 位 ： 计算机科学与技术学院 答 辩 日 期 ： 2013 年 6 月 授予学位单位 ： 哈尔滨工业大学 Classified Index: TP393.02 U.D.C: 004.9 Dissertation for the Master Degree in Engineering DISTANCE QUERIES ON LARGE-SCALE GRAPHS BASED ON DISTRIBUTED ENVIRONMENT Candidate： Zhencai Zhao Supervisor： Jizhou Luo Academic Degree Applied for： Master of Engineering Speciality： Computer Technology Affiliation： School of Computer Science and Technology Date of Defence： June, 2013 Degree-Conferring-Institution： Harbin Institute of Technology 哈尔滨工业大学工学硕士学位论文 哈尔滨工业大学工学硕士学位论文 - -I- 摘 要 社交网络分析、网络舆情发现等应用发展迅速，这些应用所基于的图结构规 模也越来越大，在对图结构的研究中，对亿万个顶点级别的大规模图的处理能力 的需求愈加迫切。因为如今图的规模太大，使得最短路径查询问题变得更加具有 挑战性，其中包括大规模图结构的存储以及查询的效率等挑战性问题。传统的串 行算法在处理大规模图结构时面临着巨大的问题。众所周知，云计算的发展与大 规模数据的处理关系紧密。所以运用云计算环境，在大规模图上进行数据处理是 一个十分有潜力的研究方向。最近几年，Hadoop 是一个十分典型的云计算平台 代表。于是，我们可以基于 Hadoop 来对我们的问题进行研究。 本文主要结合云计算相关知识以及社交网络、交通网络实际应用，对大规模 图上的距离查询经典问题进行研究。本文首先针对实际应用提出并行化的经典 Floyd 类矩阵乘法算法 D-Floyd，并将该算法在 Hadoop 平台上进行实现。D-Floyd 算法主要采用 Hadoop 中的 MapReduce 和 HDFS 两部分来将经典 Floyd 算法在分 布式环境下进行实现。接着，我们对 D-Floyd 进行优化扩展，优化方案主要从 D-Floyd 算法本身和 Hadoop 平台两个方面入手进行考虑。然后我们研究了支持 增量计算的 D-Floyd 算法，根据研究，我们定义“有界”和“无界”，提出部分 增量的 D-Floyd 和完全增量的 D-Floyd。我们将算法与已有的 OptHCL-2 方法、 NaiveHCL 方法、BSC2Hop 方法进行多角度的分析比较，阐述分布式方案的必要 性及优点。接下来，我们提出 BFS 计算无权图中最短路径的分布式解决方案并 将其在 Hadoop 平台上进行实现，并与 D-Floyd 进行分析比较。通过试验分析， 我们提出的 D-Floyd 算法显然要比已有的单机串行算法高效，而且优化后的 D-Floyd 算法和增量式 D-Floyd 算法的相关研究提出的方法都在一定程度上提高 了 D-Floyd 算法的性能。此外，在无权图中 D-BFS 比 D-Floyd 性能要好很多， 于是在实际的应用中，当要处理的图为无向图时，可以采用 D-BFS 方案进行计 算，当要处理的图为有向图时，则只能采用 D-Floyd 方案进行计算。最后我们结 合现有的一些经典算法如 A*寻路算法、B*算法等在分布式架构上实现的思路， 提出展望并实现相关应用。比如，我们可以将解决方案运用到社交网络人物关系 图谱分析、网络舆情传播控制模型发现等应用中。 关键词：分布式计算；大规模图；Hadoop；社交网络； - -II- Abstract As the development of various applications based on social networks and traffic networks, large-scale graph processing has become increasingly popular. But because the scale of graph is so big that shortest di