ation变成任务并得到结果的过程.pdfVIP

Ation 变成任务并得到结果的过程 以RDD 的countaction 为例进行讲解 将整个过程划分为四个阶段: A,job 生成提交及stage 划分准备阶段 B,stage 划分阶段 k 生成及提交阶段。 D,task 运行和结果返回阶段 rdd.count() 1，stage 划分前 Spark 应用调用count 方法，就会进入SparkContext 的runjob 方法，在最后一个runJob 方法 中构建了一个newArray[U](partitions.size)，并将其(index,res)=result