分布式大规模图数据流式划分算法FENNEL的改进-计算机系统结构专业论文.docx

华 中科技大学硕士学位论 华 中 科 技 大 学 硕 士 学 位 论 文 独创性声明 本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得的研 究成果。尽我所知，除文中已经标明引用的内容外，本论文不包含任何其他个人或 集体已经发表或撰写过的研究成果。对本文的研究做出贡献的个人和集体，均已在 文中以明确方式标明。本人完全意识到本声明的法律结果由本人承担。 学位论文作者签名： 日期： 年 月 日 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定，即：学校有权 保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅。 本人授权华中科技大学可以将本学位论文的全部或部分内容编入有关数据库进行检 索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。 保密□ ，在 年解密后适用本授权书。 本论文属于 不保密□。 （请在以上方框内打“√”） 学位论文作者签名： 指导教师签名： 日期： 年 月 日 日期： 年 月 I I 摘 要 图划分在分布式计算和大规模图数据处理等方面有着重大的意义。当图数据规模 较小时，静态图划分算法（如 METIS）能有效处理，获得较小的切边率；但是随着 应用快速发展，图数据规模的急剧增长给静态图划分算法造成显著挑战，因其处理 速度及可扩展性较差而难以处理千万级以上大规模的流式图数据。 流式图划分算法的出现很好的解决了上述问题。FENNEL 算法对多种流式图划分 算法进行了统一的建模，其切边率要优于目前主流的流式图划分算法，且较为接近 学术界公认优秀的静态图划分系统 METIS，而其运行速度却比 METIS 快。不过， FENNEL 算法是一种串行的流式划分算法，扩展能力受限，如何提高其并发性而且 减少因并发性提高而带来的切边率影响就成为改进所面临的主要挑战。 本项研究通过对 FENNEL 的处理模型进行分析，找出 FENNEL 现有分布式部署 方法中，星形串行网络模型存在的处理效率低、可扩展性差等问题，并针对这两方 面的问题，提出了一种并发改进方案，以及一种树形网络拓扑结构，并进行理论推 导，以求证其可改善系统并发性及扩展性。然后，对各种类型的图数据进行串行、 并发模型的对比测试，测试数据表明了在原生图数据以及图数据随机到达的情况下， FENNEL 并发改进方案可以保证几乎不影响图划分切边率，同时有效的加快图划分 的速率，但是其速率会随着工作节点数量的增加而减低；而树形网络拓扑结构能通 过调整并发度来有效提高图划分速率，且其速率几乎不会受到工作节点数量的影响。 不过，对于按照广度优先搜索顺序进行预处理后的图数据，即图节点按照邻接关系 顺序进行划分处理，并发方法将显著提高其切边率。 关键词：图划分；流式数据；FENNEL；并发改进；树形网络 II II Abstract Graph partitioning is one of the most important tasks to enable efficient solving of a wide range of computational tasks and querying over large-scale graph data. When the scale of graph is s mall, static graph partition algorithm (such as METIS) can work efficiently and acquire low edge cut ratio; But the graph data generated by applications keeps growing rapidly, static graph partitioning is no longer suitable for such scenario, especially when handling graphs up to more than 10 million’s scale, because of it’s low processing speed and poor scalability. The appearance of streaming graph partitioning solved this problem. FENNEL introduces an unifying framework for many current graph partitioning algorithms, it’s edge cut ratio is better than previous streaming approaches, and even close to the d