Spark执行流程04课件讲解.pptxVIP

Spark执行流程

程序执行流程

任务规划调度

目录

程序执行流程

01

程序执行流程

程序执行流程

生成逻辑查询计划

程序执行流程

生成物理查询计划

任务调度与执行

任务规划调度

02

DAG任务规划与调度

DAG（DirectedAcyclicGraph）

有向无环图：一个有向图无法从任意顶点出发经过若干条边回到该点

受制于某些任务必须比另一些任务较早执行的约束，可排序为一个队列的任务集合，该队列可由一个DAG图呈现

Spark程序的内部执行逻辑可由DAG描述，顶点代表任务，边代表任务间的依赖约束

DAGScheduler

根据任务的依赖关系建立DAG

根据依赖关系是否为宽依赖，即是否存在Shuffle，将DAG划分为不同的阶段（Stage）

将各阶段中的Task组成的TaskSet提交到TaskScheduler

TaskScheduler

负责Application的任务调度

重新提交失败的Task

为执行速度慢的Task启动备用Task

DAG任务规划与调度

DAGScheduler

谢谢您的观看

THANKS