Chapter9_厦门大学_林子雨_大数据技术原理与应用_第九章_图计算.pptVIP

;提纲;9.1 图计算简介;9.1.1 传统图计算解决方案的不足之处;9.1.2 图计算通用软件;9.2 Pregel简介;9.3 Pregel图计算模型;9.3.1 有向图和顶点;9.3.2 顶点之间的消息传递;9.3.3 Pregel的计算过程;9.3.4 实例;9.4 Pregel的C++ API;9.4 Pregel的C++ API;9.4.1 消息传递机制;9.4.2 Combiner;9.4.3 Aggregator;9.4.4 拓扑改变;9.4.5 输入和输出;9.5 Pregel的体系结构;9.5.1 Pregel的执行过程;9.5.1 Pregel的执行过程;9.5.2 容错性;9.5.3 Worker;9.5.4 Master;9.5.5 Aggregator;9.6 Pregel的应用实例;9.6.1 单源最短路径;9.6.2 二分匹配;9.7 Pregel和MapReduce实现PageRank算法的对比; PageRank是一个函数，它为网络中每个网页赋一个权值。通过该权值来判断该网页的重要性 该权值分配的方法并不是固定的，对PageRank算法的一些简单变形都会改变网页的相对PageRank值（PR值） PageRank作为谷歌的网页链接排名算法，基本公式如下： 对于任意一个网页链接，其PR值为链入到该链接的源链接的PR值对该链接的贡献和，其中，N表示该网络中所有网页的数量，Ni为第i个源链接的链出度，PRi表示第i个源链接的PR值 ;9.7.1 PageRank算法;在Pregel计算模型中，图中的每个顶点会对应一个计算单元，每个计算单元包含三个成员变量： 顶点值（Vertex value）：顶点对应的PR值 出射边（Out edge）：只需要表示一条边，可以不取值 消息（Message）：传递的消息，因为需要将本顶点对其它顶点的PR贡献值，传递给目标顶点 每个计算单元包含一个成员函数Compute()，该函数定义了顶点上的运算，包括该顶点的PR值计算，以及从该顶点发送消息到其链出顶点;9.7.2 PageRank算法在Pregel中的实现;9.7.2 PageRank算法在Pregel中的实现;MapReduce也是谷歌公司提出的一种计算模型，它是为全量计算而设计 采用MapReduce实现PageRank的计算过程包括三个阶段： 第一阶段：解析网页 第二阶段：PageRank分配 第三阶段：收敛阶段;9.7.3 PageRank算法在MapReduce中的实现;9.7.3 PageRank算法在MapReduce中的实现;9.7.3 PageRank算法在MapReduce中的实现;9.7.3 PageRank算法在MapReduce中的实现;9.7.3 PageRank算法在MapReduce中的实现;PageRank算法在Pregel和MapReduce中实现方式的区别主要表现在以下几个方面： （1）Pregel将PageRank处理对象看成是连通图，而MapReduce则将其看成是键值对 （2）Pregel将计算细化到顶点，同时在顶点内控制循环迭代次数，而MapReduce则将计算批量化处理，按任务进行循环迭代控制 （3）图算法如果用MapReduce实现，需要一系列的MapReduce的调用。从一个阶段到下一个阶段，它需要传递整个图的状态，会产生大量不必要的序列化和反序列化开销。而Pregel使用超步简化了这个过程;本章小结;主讲教师和助教;