第9章图计算.PDFVIP

厦门大学计算机科学系研究生课程 《大数据技术基础》 第9章 图计算 （2013年新版） 林子雨 厦门大学计算机科学系 E-mail: ziyulin@ 主页：/linziyu 《大数据技术基础》厦门大学计算机科学系厦门大学计算机科学系 林子雨 ziyulin@2013年新版 2013年9月修订版 课程提要 图计算简介 Google Pregel图计算模型 Pregel的C++ API Pregel模型的基本体系结构 Pregel模型的应用实例 改进的图计算模型 参考资料 本讲义PPT存在配套教材，由林子雨通过大量 阅读、收集、整理各种资料后编写而成 下载配套教材请访问 《大数据技术基础》2013 班级网站：/node/423 《大数据技术基础》 厦门大学计算机科学系 林子雨 ziyulin@ 2013年9月修订版 图计算中的问题 大型图（像社交网络和网络图等）常常作为现在系统计算需要的一 部分。现在存在许多图计算问题像最短路径、集群、网页排名、最小 切割、连通分支等等，但还没有一个可扩展的通用系统来解决这些问 题。 解决这些问题的算法的特点：它们常常表现为比较差的内存访问局 部性、针对单个顶点的处理工作过少、以及计算过程中伴随着的并行 度的改变等问题。 可能的解决方法： 为特定的图应用定制相应的分布式实现 基于现有的分布式计算平台 使用单机的图算法库 ——如BGL，LEAD，NetworkX，JDSL，Standford ，GraphBase，FGL等 使用已有的并行图计算系统 ——如Parallel BGL，CGMgraph等 《大数据技术基础》 厦门大学计算机科学系 林子雨 ziyulin@ 2013年9月修订版 图计算的两种软件 目前通用的图处理软件主要包括两种。一种主要基于遍历算法、实时 的图数据库，如Neo4j , OrientDB , DEX , 和InfiniteGraph .另一种则是以图 顶点为中心的消息传递批处理的并行引擎，如Hama , Golden Orb , Giraph , 和Pregel .第一种基本都基于tinkerpop的图基础框架，tinkerpop项目关 系如图1所示： 《大数据技术基础》 厦门大学计算机科学系 林子雨 ziyulin@ 2013年9月修订版 BSP模型 以图顶点为中心的消息传递批处理的并行引擎主要是基于 BSP(Bulk Synchronous Parallel)模型所实现的并行图处理包。BSP是 由哈佛大学Viliant和牛津大学Bill McColl提出的并行计算模型。一 个BSP模型由大量相互关联的处理器(processor)所组成，它们之间 形成了一个通信网络。每个处理器都有快速的本地内存和不同的 计算线程。一次BSP计算过程由一系列全局超步组成，超步就是计 算中一次迭代。每个超步主要包括三个组件： 并发计算(Concurrent computation)：每个参与的处理器都有 自身的计算任务，它们只读取存储在本地内存的值。这些计 算都是异步并且独立的。 通讯(Communication): 处理器群相互交换数据，交换的形式 ：由一方发起推送(put)和获取(get)操作。 栅栏同步(Barrier synchronisation): 当一个处理器遇到路障， 会等到其他所有处理器完成它们的计算步骤。每一次同步也 是一个超步的完成和下一个超步的开始。 《大数据技术基础》 厦门大学计算机科学系