Spark的基本运行流程.pptx

Spark的基本运行流程 1.掌握Spark术语解释 2.掌握Spark运行流程 1. Spark术语解释 2. Spark运行流程 Spark术语解释Master：资源管理的主节点(进程)Worker：资源管理的从节点(进程) 或者说管理本机资源的进程Application：基于Spark的用户程序Driver：任务调度进程 Spark术语解释Executor：是在一个worker进程所管理的节点上为某Application启动的一个进程，该进程负责运行任务Task：被送到某个executor上的工作单元 (Thread）Job：包含很多任务(Task)的并行计算，可以看成和Action算子一一对应RDD(弹性分布式数据集, 它是一个抽象的概念,实际上它并没有储存真正的数据,保存的的只是索引, 可以将它理解为数据集的代理) 运行流程当 jar 在客户端进行spark-submit的时候spark流程就开始了1.application启动之后, 会在本地启动一个Driver进程 用于控制整个流程。2 .首先需要初始化的是SparkContext, SparkContext 要构建出 DAGScheduler,TaskScheduler 3 .在初始化TastScheduler的时候,它会去连接master,并向master 注册Application ,master 收到信息之后,会调用自己的资源调度算法,在spark集群的work上,启动Executor,并进行资源的分配, Spark术语解释4 .现在可以进行我们编写的的业务了, 一般情况下通过sc.textFile(file) 去加载数据源5 .DagScheduer 先按照action将程序划分为一至多个job(每一个job对应一个Dag), 之后对DagScheduer按照是否进行shuffer,将job划分为多个Stage 每个Stage过程都是taskset 运行流程 1. 各个角色的作用2. 任务运行的流程