讲实战用graphx求得顶点度邻居海量资源.pdfVIP

本文由简悦SimpRead转码，原文地址

在开始本的内容之前，我们先来回顾一下上个的习题：alizedPageRank和PageRank

有什么不同？

个性化PageRank(alizedPageRank)算法继承了经典PageRank算法的思想，利用数据模型

(图)结构来递归地计算各结点的权重，即模拟用户通过点击随机图中结点的行为(随机行

走模型)计算稳定状态下各结点得到的随机概率。个性化PageRank与PageRank的最大区别在于

随机行走中的跳转行为。

接下来，我们就进入本的学习。GraphX内置了collectNeighborIds函数，可以得到每个顶点的邻

居顶点，也就是1度邻居顶点。如果需要得到每个顶点的2度或者n度邻居顶点，应该如何利用

GraphX完成这个任务呢？本将解答这个问题。

求n度邻居顶点要比1度邻居顶点更复杂一些，是要模拟出一个带有生命值的消息，每一次，

生命值就会相应减1，那么在生命值为0的时候到达的顶点就是我们所求的n度邻居顶点。

本将用GraphGenerators造出一个度分布为正态分布的图，然后实现vertexProgress、sendMsg

和mergeMsg这3个关键函数，代码如下：

importorg.apache.spark.graphx.EdgeTriplet

importorg.apache.spark.graphx.EdgeDirection

importorg.apache.spark.SparkConf

importorg.apache.spark.SparkContext

importorg.apache.spark.graphx.util.GraphGenerators

importorg.apache.spark.graphx.VertexId

importorg.apache.spark.graphx.PartitionStrategy

importorg.apache.spark.graphx.Graph.graphToGraphOps

importscala.Iterator

objectNDegreeNeighbor{

defmain(args:Array[String]):Unit={

valvextexNum=args(0).toInt

valu=args(1).toDouble

valsigma=args(2).toDouble

valeParts=args(3).toInt

valoutputPath=args(4)

valnumParts=args(5).toInt

valpartStra=args(6).toInt

valn=args(7).toInt

valconf=newSparkConf()

conf.setAppName(NDegreeNeighbor)

valsc=newSparkContext(conf)

valg=GraphGenerators

.logNormalGraph(sc,vextexNum,eParts,u,sigma,

System.currentTimeMillis())

.mapVertices[(List[Long],List[(Long,Int)],Int)]((x,y)=

(List(),List(),0))

.partitionBy(

if(partStra0)

PartitionStrategy.EdgePartition1D

elseif(partStra1)

PartitionStrategy.EdgePartition2D

elseif(partStra2)

PartitionStrategy.CanonicalRandomVertexCut

else

PartitionStrategy.RandomVertexCut,numParts)

g.pregel[List[(Long,Int)]](