Spark YARN核心进程原理及作业执行架构分析.pdfVIP

大数据课程设计

授课课题spark进程4

教学目的：掌握SPARKYARN进程的原理和在作业过程中的作用

教学目的

与要求能力要求：熟悉SPARK基本概念

教学重点sparkyarn模式部署

教学难点

教学准备Hadoop集群，spark集群

1.作业执行架构

课程大纲2.进程解读

3.作业相关

在上一节讲解作业的基础上继续讲解作业和作业里涉及的进程的原理。

见附录

教学过程

板书设计

随堂作业1.归纳总结

大数据课程设计

教学课题教4

学课题

教学目的：掌握SPARKYARN流程原理及其在流程中的作用

教学目的

与要求最佳能力：熟悉SPARK基本概念

教学重点火花纱调配方式

教学难点

教学准备Hadoop集群、spark集群

1.最常用方法

课程大纲2.阅读的过程

3.工作相关

在上讲解最作的基础上，延续讲解最作和最作里涉及的流程原理。

见附录

教学过程

板书设计

随堂最作1.总

结

【作业执行架构】

【进程解读】

Client：客户端进程，负责提交作业到Master。

Master：Standalone模式中主控节点，负责接收Client提交的作业，管理Worker，并命令

Worker启动Driver和Executor。

Worker：Standalone模式中slave节点上的守护进程，负责管理本节点的资源，定期向Master

汇报心跳，接收Master令，启动Driver和Executor。

Driver：一个Spark作业运行时包括一个Driver进程，也是作业的主进程，负责作业的解析、生

成Stage