《大数据离线分析技术》课件——Yarn运行机制.pptxVIP

Yarn运行机制

Yarn运行机制介绍Yarn运行机制提交

/01基本介绍

Yarn运行机制介绍

Yarn运行机制介绍

/02基本介绍

Yarn运行机制提交

Yarn运行机制提交（一）在YARNClient模式下，Driver在任务提交的本地机器上运行，Driver启动后会和ResourceManager通讯申请启动ApplicationMaster，随后ResourceManager分配container，在合适的NodeManager上启动ApplicationMaster。此时的ApplicationMaster的功能相当于一个ExecutorLaucher，只负责向ResourceManager申请Executor内存。

Yarn运行机制提交（二）ResourceManager接到ApplicationMaster的资源申请后会分配container，然后ApplicationMaster在资源分配指定的NodeManager上启动Executor进程，Executor进程启动后会向Driver反向注册，Executor全部注册完成后Driver开始执行main函数。之后执行到Action算子时，触发一个job，并根据宽依赖开始划分stage，每个stage生成对应的taskSet，之后将tas