PageRank介绍及其MapReduce实现.pptVIP

Phase2：PageRankIter PageRankIter伪代码 Phase3：Rankviewer PageRankViewer：将最终结果排序输出。 PageRankViewer从最后一次迭代的结果读出文件，并将文件名和其PR值读出，并以PR值为key网页名为value，并且以PR值从大到小的顺序输出。 排序过程中可以采用框架自身的排序处理，重载key的比较函数，使其经过shuffle和sort后反序（从大到小）输出 public static class DecFloatWritable extends FloatWritable … @Override public int compareTo Object o return -pareTo o ; PageRank迭代终止条件 可选的终止条件： 各网页的PageRank值不再改变； 各网页的PageRank值排序不再变化； 迭代至固定次数； 多趟MapReduce的处理 public class PageRankDriver private static int times 10; public static void main String args[] throws Exception String[] forGB , args[1]+/Data0 ; forGB[0] args[0]; GraphBuilder.main forGB ; String[] forItr Data,Data ; for int i 0; i times; i++ forItr[0] args[1]+/Data+ i ; forItr[1] args[1]+/Data+ i+1 ; PageRankIter.main forItr ; String[] forRV args[1]+/Data+times, args[1]+/FinalRank ; PageRankViewer.main forRV ; 也可以使用org.apache.hadoop.util.ProgramDriver 单源最短路径 问题: 在图中寻找一个起始点到一个或多个目标点之间的最短路径 最短路径通常指最小的权重或最少代价。 串行算法： Dijkstra算法 MapReduce：并行广度优先 BFS Dijkstra最短路径算法 ? ? ? ? 10 5 2 3 2 1 9 7 4 6 Example from CLR 10 ? ? Example from CLR 10 5 2 3 2 1 9 7 4 6 Dijkstra最短路径算法 8 14 Example from CLR 10 5 2 3 2 1 9 7 4 6 Dijkstra最短路径算法 13 Example from CLR 10 5 2 3 2 1 9 7 4 6 Dijkstra最短路径算法 1 Example from CLR 10 5 2 3 2 1 9 7 4 6 Dijkstra最短路径算法 Example from CLR 10 5 2 3 2 1 9 7 4 6 Dijkstra最短路径算法 Dijkstra最短路径算法 Dijkstra最短路径基于维持一个全局的优先队列 每次迭代都是从队列中找出距离最小的点，并更新它可到达的点。 存在问题：在集群分布处理环境下难以维持全局的优先队列，因而基于单机的Dijkstra算法无法实现MapReduce并行化 解决方法：可以基于并行的广度优先遍历来解决最短路径问题。 广度优先遍历的并行化 1.同一层之间的节点可并行执行； 2.每一趟MapReduce过程处理一层； 3.初始化：起始顶点的距离为0，其他顶点到起始顶点的距d为无穷大； 4.迭代终止：没有距离为无穷大的顶点。 广度优先遍历的MapReduce实现 最短路径的并行算法 并行的最短路径算法基于广度优先遍历 与广度优先遍历不同： 终止条件 广度优先：所有节点都更新过一遍； 最短路径：所有节点的距离不再变化； 基于MapReduce的图算法总结 通常采用邻接表来表示图 通常将一个完整的图结构，分解成若干个局部的子结构，对每个子结构进行并行处理。 在map阶段对邻接点产生 key,value 对，经过Shuffle和sort后，在reduce阶段更新节点信息。 图算法通常是一个迭代过程，上一步的输出作为下一步的输入，由额外的“driver”控制。 实验内容与要求 1. 在Eclipse环境下编写实现Wiki网页数据集的PageRank算法，实验数据从FTP上下载 2. 在集群上运行程序，对Wiki网页数据集进行处理 3. 实验结果提交：要求书写一个实验