Gemini以计算为中心的分布式图计算系统.PDFVIP

专题 第 13 卷  第8 期  2017 年 8 月 Gemini：以计算为中心的 分布式图计算系统 朱晓伟　陈文光 关键词 ：图状结构数据　图计算分布式系统 清华大学 图状结构数据 等都是典型的图状结构数据。在天体物理学、计算 化学、生物信息学等自然科学领域，图状结构数据 图(graph) 是用于表示对象之间联结关系的抽象 也是无处不在。对这些数据的分析都离不开基于图 数据结构，通常使用顶点(vertex) 集和边(edge) 集 的算法设计，以及面向图的高性能计算系统。 进行描述 ：顶点表示对象，边表示对象之间的关系。 尽管图在数学上可以对应成矩阵，然而图状结 根据边是否有方向和权值，图又可细分为有向图/ 构数据的一些特点让我们很难将实现传统科学计算 无向图以及有权图/ 无权图等。当边有方向时，我 应用所得到的经验直接移植过来 ：现实世界的图通 们将一条边连接的两个顶点按方向分为源点(source 常平均度数 （即边数与顶点数的比值）只有几到几 vertex) 和终点(destination vertex) 。图1 展示的是一 百，与上千万甚至上亿个顶点的规模相比显得极为 个简单的包含了10 个顶点和16 条边的有向无权图， 稀疏，且度数呈幂律分布 ；而科学计算中我们经常 其中0 和1 分别是0 → 1 这条边的源点和终点。 面对的是稠密矩阵，或是较为规则的稀疏矩阵，数 据的划分和并行较为容易。 1 3 另一方面，基于图的算法通常采用迭代式计算， 同时，并非每一轮迭代都需要所有顶点参与计算， 2 4 0 9 且活跃的顶点集不断变化的特点也使得图状结构数 5 7 据的处理更加复杂，导致通用的大数据处理系统难 以有效应对图计算问题。例如，M apReduce [1] 在每 6 8 轮迭代计算中都需要反复读写磁盘，产生大量不必 要的开销 ；而Spark [2] 的数据模型RDD 由于其不变 图1　有向无权图示例 性(Immutable) ，产生的大量中间结果会导致不必要 对于可抽象成用图表示的数据，我们通常称之 的内存占用从而影响能够处理的数据集大小和数据 为图状结构数据(graph-structured data) 。随着互联网 处理的效率。 的飞速发展，这类数据正在受到越来越多的关注 ： 社交网络中用户间的关注和互动、互联网上网页之 图计算系统的现状 间的链接、电子商务平台上用户对物品的评分记录 16 第 13 卷  第8 期  2017 年 8 月 1 为了更有效地解决大规模图上的计算问题，学 纳需要处理的图 。 术界与工业界提出了大量面向图优化的计算系统。 Pregel [3] 是来自谷歌的大规模图计算系统的开山之 Gemini 作，很多后