Spark数据倾斜测试与并行度优化方案.pdfVIP

通过上述处理，一份可能造成后续数根据倾斜的测试数根据即以准备好。

接下来，用Spark该测试数据，并通过groupByKey(12)对id分组处理，

且Shuffle并行度为12。代码如下

scalavalsourceRdd=sc.textFile(hdfs://master01:9000/test_data/p*)

sourceRdd:org.apache.spark.rdd.RDD[字符串]=

hdfs://master01:9000/test_data/p*MapPartitionsRDD[1]attextFileat控制台:24

scalavalkvRdd=sourceRdd.map(x={valparm=x.split(\t);

(parm(0).trim().toInt,parm(1).trim())})kvRdd:org.apache.spark.rdd.RDD[(Int,

String)]=MapPartitionsRDD[2]位于控制台的地图：26scala

kvRdd.groupByKey(12).countres0：长=150000scala：

本次实验所使用集群节点数为3，节点每个可被Yarn使用的CPU核数为3，

内存为2GB。在Spark‑shell中进行提交

GroupByStage的任务状态如下图所示，任务8处理的记录数为90万，

远大于（9倍于）其他11个任务处理的10万记录。而任务8所消耗费用的时

间间隔为1，远高于其他11个任务的平均时间。整个Stage的时间间隔也为

1秒，该时间间隔主要由最慢的Task8决定。数据之间处理的比例最大为105倍。

在这种情况下，可以通过调整整个Shuffle任务度，使得原来被分配到同

一个Task(即该例中的Task8)的不同Key分配到不同的Task，从而降低Task8

所需处理的数据量，缓和解数据方向。

通过groupByKey(17)将Shuffle家具度调整为17，重新提交到Spark。

通过上述处理，一份可能造成后续数据倾斜的测试数据即以准备好。

接下来，使用Spark该测试数据，并通过groupByKey(12)对id分组处

理，且Shuffle并行度为12。代码如下

scalavalsourceRdd=sc.textFile(hdfs://master01:9000/test_data/p*)

sourceRdd:org.apache.spark.rdd.RDD[String]=hdfs://master01:9000/test_data/p*

MapPartitionsRDD[1]attextFileatconsole:24

scalavalkvRdd=sourceRdd.map(x={val

parm=x.split(\t);(parm(0).trim().toInt,parm(1).trim())})

kvRdd:org.apache.spark.rdd.RDD[(Int,String)]=MapPartitionsRDD[2]atmapat

console:26

scalakvRdd.groupByKey(12).count

res0:Long=150000

scala:quit

本次实验所使用集群节点数为3，每个节点可被Yarn使用的CPU核数

为3，内存为2GB。在Spark-shell中进行提交

GroupByStage的Task状态如下图所示，Task8处理的记录数为90万，

远大于（9倍于）其它11个Task处理的10万记录。而Task8所耗费的时

间为1秒，远高于其它11个Task的平均时间。整个Stage的时间也为1

秒，该时间主要由最慢的Task8决定。数据之间处理的比例最大为105倍。

在这种情况下，可以通过调整Shuffle并行度，使得原来被分配到同一

个Task（即该例中的Task8）的不同Key分配到不同Task，从而降低Task

8所需处理的数据量，缓解数据