《大数据离线分析技术》课件——DAG的转换.pptxVIP

;DAG介绍;DAG介绍;DAG(DirectedAcyclicGraph)叫做有向无环图，原始的RDD通过一系列的转换就就形成了DAG，根据RDD之间的依赖关系的不同，将DAG划分成不同的Stage。

;

DAG切分stage,stage切分的依据:有宽依赖的时候要进行切分(shuffle的时候,也就是数据有网络的传递的时候)，则一个wordCount有两个stage,一个是reduceByKey之前的，一个事reduceByKey之后。;DAGScheduler;各个RDD之间存在着依赖关系，这些依赖关系就形成有向无环图DAG。

DAGScheduler对这些依赖关系形成的DAG进行Stage划分，划分的规则很简单，从后往前回溯，遇到窄依赖加入本stage，遇见宽依赖进行Stage切分。完成了Stage的划分。DAGScheduler基于每个Stage生成TaskSet,并将TaskSet提交给TaskScheduler。TaskScheduler负责具体的task调度,最后在Worker节点上启动task。;（1）DAGScheduler对DAG有向无环图进行Stage划分。

（2）记录哪个RDD或者Stage输出被物化（缓存），通常在一个复杂的shuffle之后，通常物化一下(cache、persist)，方便