基于MapReduce的单源最短路径算法研究.docVIP

1.2 相关数据结构定义为了减少数据冗余, 本文对于图的表示方法采用邻接表 1.2 相关数据结构定义 为了减少数据冗余, 本文对于图的表示方法采用邻接表的 方式进行存储,以各顶点为中心,每一行代表图中的一个顶点,各 顶点数据结构描述如下: 其中,ID 为顶点标识;distance 表示从源点到顶点的距离,除 到本身的距离为 0 外,其余初始值皆为无穷大 MAX;Flag 为标志 位, 其值可分别取 0、1、2,0 表示未处理的顶点,1 表示正待处理 的顶点,2 表示已经处理了的顶点,源点的初始值为 1,其余顶点 皆为 0;Adjacent information 代表邻接信息,包括顶点的邻接点及 其权值。如图 1 用邻接表表示的数据结构如图 2 所示: 图 1 带权有向图 G 图 2 用邻接表表示图 1 的数据结构 图 3 基于 MapReduce 的单源最短路径算法的执行过程 文章编号:1008-0570(2011)12-0097-03 基于 的单源最短路径算法研究 MapReduce Research on the Single Source Shortest Path Algorithm Using MapReduce (湖南大学) 杨 玲 李仁发 唐 卓 YANG Ling LI Ren-fa TANG Zhuo 摘要: 通 过 对 MapReduce 模型执行过程的分析 , 针 对 单 源最短路径算法难以随着云计算的产生和发展而应用及提高搜索效 率 的 问 题, 本文设计和实现了一种基于 MapReduce 架构的并行单源最短路径算法 。 并 基 于 Hadoop 平台集群环境进行了研究 与 实 验, 结 果 表 明, 文中算法可以有效地找出整个图结构中的单源最短路径 , 且验证了算法性能的优越性 。 关键词: MapReduce; 并行; 最短路径; hadoop 中图分类号: TP393.0 文献标识码: A Abstract: Via the analysis to implementation process of mapreduce, aimming at the problem that single source shortest path algorithm is hard to be used with the appearance and development of cloud computing and the problem of searching efficiency,a parallel single source shortest path algorithm based on mapreduce framework is designed and implemented .research and experiment are done based on hadoop platform.As shown by the experimental results,the proposed algorithm can search the single source shortest path efficiently in the whole graphic structure,and its good performance is testified. Key words: MapReduce; Parallel; Shortest path; Hadoop 引言 计算机网络的飞速发展促进了云计算的产生。MapReduce 并行编程模型是云计算的核心技术之一,2005 年 4 月 6 日, Google 实 验 室 的 Jeffrey Dean 和 Sanjay Ghemawat 提 出 了 MapReduce 模型并进行了详细地阐述, 它为并行系统的数据处 理提供了一个简单、优雅的解决方案。Apache 基金会基于 Java 开发了一个分布式基础架构 Hadoop, 实现了 MapReduce 模型, 并提供了分布式计算平台。 在通信网络与交通网络中, 并行问题和最短路径问题一直 是研究的热点, 有着极其重要的作用。在处理实际问题的过程 中, 通常将现实问题转化为图的网状形式来研究最短路径。而 MapReduce 并行计算模型的出现, 为解决大规模数据处理问题 提供了一种新的途径, 也为最短路径的并行计算带来了一种新 的解决方法,有效提高了计算效率。 本文提出了基于 MapReduce 的单源最短路径算法。首先利 用 MapReduce 架构来形成算法的并行