spark-graphx框架下的大规模加权图最短路径查询.docVIP

Spark-GraphX框架下的大规模加权图最短路径查询 宋宝燕 张永普 单晓欢 辽宁大学信息学院 X 关注成功！ 加关注后您将方便地在 我的关注中得到本文献的被引频次变化的通知！ 新浪微博 腾讯微博 人人网 开心网 豆瓣网 网易微博 摘????要： 最短路径问题一直是计算机等学科的热点研究问题, 常应用于社交网、交通网等诸多领域.图规模爆炸式的增长导致传统单机环境下的存储、查询已无法满足大规模图的处理需求.提出一种基于Spark-Graph X平台的大规模图最短路径查询方法 (LSGSP-SG) :首先利用经典算法对大规模图进行分割并标记, 将割点的信息记录在文本文件中, 然后利用大数据平台Spark的Graph X框架进行迭代式分布计算并进行各个计算机节点的消息通信及同步, 最后返回最短路径查询结果. 关键词： Spark; 图分割; 最短路径; 分布式; 作者简介：宋宝燕 (1965-) , 女, 满族, 辽宁开原人, 教授, 主要研究方向:大数据技术、数据库技术, 图数据技术等;E-mail:bysong@;教授博士生导师宋宝燕, 女, 1965年出生, 教授, 博士生导师, 辽宁大学信息学院院长, 中国计算机学会高级会员, 中国计算机学会沈阳会员活动中心副主席, 辽宁省认知科学学会理事, 辽宁省普通高校计算机类教学指导委员会委员, 辽宁省公共舆情与网络安全重点实验室主任, 辽宁省公共舆情与网络安全大数据工程实验室副主任, 人选辽宁省教育厅优秀人才计划, 辽宁省科技厅、信息产业厅等专家库成员, 沈阳市科学技术协会评审专家。1988年毕业于东北大学计算机科学与技术专业, 获工学学士学位;1996年毕业于东北大学计算机软件与理论专业, 获工学硕士学位;2002年毕业于东北大学计算机软件与理论专业, 获工学博士学位。主持并参与国家自然科学基金、国家863/CIMS课题以及省市级科技项目10余项。曾获冶金部科技进步二等奖一项、辽宁省科技进步三等奖两项。享受国务院政府特殊津贴专家、辽宁省优秀教师、辽宁大学“十佳”教师。先后为本科生、研究生主讲数据库原理、数据库专题等课程。研究方向为数据库技术、数据流处理技术、图数据处理技术以及大数据处理技术。在本领域知名的国际/国内学术会议、学术刊物上发表论文百余篇, 其中多篇论文被SCI、EI以及ISTP收录。 作者简介：张永普 (1994-) , 男, 汉族, 山东菏泽人, 硕士研究生, 主要研究方向:图数据技术. 作者简介：单晓欢 (1987-) , 女, 汉族, 辽宁沈阳人, 助理实验师, 主要研究方向:大数据技术, 图数据技术. 收稿日期：2017-08-15 基金：国家自然科学基金项目 资助 A Shortest Path Method on Large-scale Graph Based on Spark-GraphX SONG Bao-yan ZHANG Yong-pu SHAN Xiao-huan Information College, Liaoning University; Abstract： The shortest path problem has always been a hot topic in computer science and other issues, often used in social networks, transportation networks and many other areas.The increase of graphs leads to the storage of the traditional stand-alone environment, and the query can not meet the processing requirements of large-scale graphs.In this paper, we propose a LSGSP-SG method based on the Spark-GraphX platform.Firstly, we use the classical algorithm to segment and mark the large-scale graphs, and record the information of the cut in the text file, Then use the large data platform Spark s GraphX framework for iterative distribution calculation and the various