Spark框架Graphx算法研究.docVIP

Spark框架Graphx算法研究 　　摘要：随着搜索引擎对网页的排名的需要，以及社交网络的兴起，海量关系所产生的大数据需要得到处理。图计算在数据关系的分析上发挥着其巨大的潜能。Spark框架是Hadoop大数据平台上整合能力强，处理速度快的内存模型框架，它的图处理Graphx也得到快速发展。该文先介绍Spark框架与Graphx的关系与发展。接着分析了Graphx中的三个典型的算法。最后总结了Graphx的场景应用。 　　关键词：大数据；Hadoop；Spark；图计算；Graphx；PageRank 　　中图分类号：TP311 文献标识码：A 文章编号：1009-3044（2015）01-0075-03 　　Research on Graphx Algorithms in Spark Framework 　　CHEN Hong-jun 　　（Chengdu College of University of Electronic Science and Technology of China， Chengdu 611731， China） 　　Abstract： As the search engine need of Webpage ranking， and the rise of social networking， large mass data relations need to process. Graph calculation plays its great potential in the analysis of data relationship. The Spark framework is memory model frame which is deployed on Hadoop. It has great integration ability； high processing speed.So the graph processing Graphx also obtained the fast development. In this paper， firstly introduce the relation and development of Spark framework and Graphx. Then analyze the three typical algorithms in Graphx. Finally sum up the scene using Graphx. 　　Key words： big data； Hadoop； Spark； graphs computing； Graphx； PageRank 　　图计算可以用来处理复杂的数据联系。比如：整个社交网站就像一个关系网一样，处处充满了联系。在大数据时代，网络关系日益丰富的今天，大数据的图处理正迅猛发展。而图在数据分析上的典型应用就是Facebook、twitter这样的社交网站上的对用户及话题的分析，因为用户之间可能随时都会产生新的联系，不同用户对于不同话题也有不同的倾向。 　　图用顶点（vertex）来表示数据对象，用边（edge）来表示数据之间的联系，而边的权值可以是价值、身份、时间等各种抽象或者逻辑上的意义。图可以转化为数学上的邻接矩阵，因此对图的各种算法应用大多都要建立在数学之上；图的应用算法需要用数学公式来分析和证明，同样一个图能否并行处理也要依赖于它相应的数据矩阵是否可以再分。 　　1 Spark框架与Graphx 　　Spark是基于内存的编程模型，它可以把中间的迭代过程不放在磁盘中，直接数据不落地在内存中执行，极大地提高了它的执行速度。Spark分为四大模块：Spark SQL-RDD（数据执行的基本单元），MLlib（机器学习）、Graphx（图计算），Spark Streaming（实时处理），整个框架形成了大数据处理各种应用场景编程的一致性。 　　GraphX是新的（alpha）Spark用于图表和图形，并行计算的的API。 GraphX在一个高层次上， 延伸了Spark RDD。 通过引入Resilient Distributed Property Graph （弹性分布式属性图）： 一个有向多重图能附加每个顶点属性和边的属性。为了支持图形计算， GraphX 公开了一组基本的运算符，比如：subgraph （子图）、 joinVertices、mapReduceTriplets，以及一个最优的转变的Pregel API. 此外， GraphX 包含一个对图形算法（algorithms）和构建器 （builders） 不断增长的包集合，用以简化图形分析任务。 　　在