大数据技术原理与应用：图计算.pdfVIP

《大数据技术原理与应用》 /course/XMU-1002335004 中国大学MOOC 2018年春季学期 第12讲图计算 12.1 图计算简介 • 12.1.1 图结构数据 • 12.1.2 传统图计算解决方案的不足之处 • 12.1.3 图计算通用软件 12.1.1 图结构数据 •许多大数据都是以大规模图或网络的形式呈现 •许多非图结构的大数据，也常常会被转换为图模型后进行 分析 •图数据结构很好地表达了数据之间的关联性 •关联性计算是大数据计算的核心——通过获得数据的关联 性，可以从噪音很多的海量数据中抽取有用的信息 12.1.2 传统图计算解决方案的不足之处 很多传统的图计算算法都存在以下几个典型问题： （1）常常表现出比较差的内存访问局部性 （2 ）针对单个顶点的处理工作过少 （3 ）计算过程中伴随着并行度的改变 12.1.2 传统图计算解决方案的不足之处 针对大型图（比如社交网络和网络图）的计算问题，可 能的解决方案及其不足之处具体如下： • （1）为特定的图应用定制相应的分布式实现 • （2 ）基于现有的分布式计算平台进行图计算 • （3）使用单机的图算法库：比如BGL、LEAD、 NetworkX、JDSL、Standford GraphBase和FGL等 • （4 ）使用已有的并行图计算系统：比如，Parallel BGL和CGM Graph，实现了很多并行图算法 12.1.3 图计算通用软件 • 针对大型图的计算，目前通用的图计算软件主要包括两种： – 第一种主要是基于遍历算法的、实时的图数据库，如 Neo4j、OrientDB、DEX和 Infinite Graph – 第二种则是以图顶点为中心的、基于消息传递批处理的并 行引擎，如GoldenOrb、Giraph、Pregel和Hama，这些 图处理软件主要是基于BSP模型实现的并行图处理系统 12.1.3 图计算通用软件 一次BSP(Bulk Synchronous Parallel Computing Model，又称“大同步”模型) 计算过程包括一系列全局超步（所谓的超步就是计算中的一次迭代），每个超 步主要包括三个组件： •局部计算：每个参与的处理器都有自身的计算任务 •通讯：处理器群相互交换数据 •栅栏同步(Barrier Synchronization)：当一个处理器遇到“路障”（或栅栏）， 会等到其他所有处理器完成它们的计算步骤 处理器 局部计算 通讯 栅栏同步 图12-1 一个超步的垂直结构图 12.2 Pregel简介 •谷歌公司在2003年到2004年公布了GFS、MapReduce和BigTable •谷歌在后Hadoop时代的新“三驾马车” •Caffeine •Dremel •Pregel •Pregel是一种基于BSP模型实现的并行图处理系统 •为了解决大型图的分布式计算问题，Pregel搭建了一套可扩展的、有容 错机制的平台，该平台提供了一套非常灵活的API ，可以描述各种各样 的图计算 •Pregel作为分布式图计算的计算框架，主要用于图遍历、最短路径、 PageRank计算等等 12.3 Pregel图计算模型 • 12.3.1 有向图和顶点 • 12.3.2 顶点之间的消息传递 • 12.3.3 Pregel的计算过程 • 12.3.4 实例 12.3.1