基于MapReduce的单源最短路径算法研究.pdfVIP

网络与通信 文章编号：1008—0570(20111)12-0097-03 基于MapReduce的单源最短路径算法研究 ResearchontheSingleSourceShortestPathAlgorithm UsingMapReduce 湖(南大学)杨 玲 李仁发 唐 卓 YANG Ling LIRen-fa TANG Zhuo 摘要：通过对MapReduc：e模型执行过程的分析，针对单源最短路径算法难以随着云计算的产生和发展而应用及提高搜索效 率的问题，本文设计和 !卖现 了一种基于MapReduce架构的并行单源最短路径算法。并基于Hadoop平台集群环境进行了研 究 与实验，结果表明，文中算法可以有效地找 出整个图结构 中的单源最短路径，且验证 了算法性能的优越性。 关键词：MapReduce；并行；最短路径；hadoop 中图分类号：TP393．0 文献标识码：A Abstract：Viatheanalysistoimplementation processofmaprednce，aimmingattheproblem thatsingle sourceshortestpathalgorithm ishard tobeusedwith theappearanceand developmentofcloudcomputingand theproblem ofsearchingefficiency，aparallelsingle sourceshortestpathalgorithm based on mapreduceframework iSdesignedandimplemented ．research and experimentaredonebased onhadoop platform．Asshown bytheexperimentalresults，theproposed algorithm can search the singlesource shortestpath efficiently in thewholegraphicstnacture，anditsgood perfomr anceistestified． Keywords：M apReduce；Parallel；Shortestpath；Hadoop 1．2相关数据结构定义 引言 为了减少数据冗余，本文对于图的表示方法采用邻接表的 计算机网络的飞速发展促进 了云计算的产生。MapReduce 方式进行存储，以各顶点为中心，每一行代表图中的一个顶点，各 并行编程模型是云计：算的核心技术之一，2005年 4月 6日， 顶点数据结构描述如下： Google实验 室 的 JeffreyDean和 Sa-jayGhemawat提 出 了 MapReduce模型并进行了详细地阐述，它为并行系统的数据处 其中。ID为顶点标识；distance表示从源点到顶点的距离。除 理提供了一个简单、优雅的解决方案。Apache基金会基于Java 到本身的距离为0外其余初始值皆为无穷大MAX；Flag为标志 开发了一个分布式基础架构Hadoop，实现了MapReduce模型， 位，其值可分别取 0、1、2，0表示未处理的顶点，1表示正待处理 并提供了分布式计算平台。 的顶点，2表示 已经处理了的顶点，源点的初始值为 1，其余顶点 在通信网络与交通网络中。并行问题和最短路径问题一直 皆为0；Adjacentinfomration代表邻接信息，包括顶点的邻接点及 是研究的热点．有着极其重要的作用。在处理实际问题的过程 其权值。如图 1用邻接表表示的数据结构如图2所示： 中。通常将现实问题转化为图的网状形式来研究最短路径。而 MapReduce并行计算模型的出现，为解决大规模数据处理问题 提供了一种新的途径，也为最短路径的并行计算带来了