调度系统dag stages与分布式任务一手资源.pdfVIP

APP

05|调度系统：DAG、Stages与分布式任务

2021-09-20

《零基础Spark》课程介绍

讲述：



时长25:46大小23.60M

你好，我是

在上一讲，我们通过“包工头与施工工人”的例子，初步认识了Spark进程模型中的

Driver和Executors、以及它们之间的交互关系。Driver负责解析用户代码、构建计算流

图，然后将计算流图转化为分布式任务，并把任务分发给集群中的Executors交付运行。

不过，你可能会好奇：“对于给定的用户代码和相应的计算流图，Driver是怎么把计算图

拆解为分布式任务，又是按照什么规则分发给Executors的呢？还有，Executors具体又

是如何执行分布式任务的呢？”

我们之前一再强调，分布式计算的精髓，在于如何把抽象的计算图，转化为实实在在的分

布式计算任务，然后以并行计算的方式交付执行。深入理解分布式计算，是我们做好大数

1/16

据开发的关键和前提，它能有效避免我们掉入“单机思维”的陷阱，同时也能为性能导向

的开发奠定坚实基础。

而上面的这一系列问题，恰恰是我们吃透分布式计算的关键所在。因此，今天这一讲，我

们就顺着这些问题，一起去深入探究Spark调度系统，进而弄清楚分布式计算的来龙去

脉。

角色划分与斯巴克建筑

在上一讲，我们通过“包工头与施工工人”的类比、以及WordCount的示例，其实已经

大致厘清了Spark分布式任务调度的环节与关键步骤。今天这一讲的任务，就是带

你去深入其中的每一个环节，做到“既见森林、也见树木”。这里咱们不妨先把这些环

节和涉及的组件梳理出来，从而让你在整体上有一个清晰的把握。

Spark调度系统关键步骤与组件

不难发现，表中的步骤与组件众多，要是照本宣科地去讲调度系统，先别说你可能看着看

着就开始犯困了，就连，也可能写着写着就睡着了。因此，咱们不妨把这些环节与

组件融入到一个故事中去，让你像读小说一样，在捧腹之余弄懂Spark调度系统。

话说很久以前，有一家名扬海内外的建筑，名为“斯巴克（Spark）”。这家建筑

规模庞大，设有一个总公司（Driver），和多个（Executors）。斯巴克公司的