大数据：Spark Core(二)Driver上的Task的生成、分配、调度.docVIP

大数据：Spark Core（二）Driver上的Task的生成、分配、调度 1. 什么是Task? 在前面的章节里描述过几个角色，Driver(Client),Master,Worker(Executor)，Driver会提交Application到Master进行Worker上的Executor上的调度，显然这些都不是Task. Spark上的几个关系可以这样理解： Application: Application是Driver在构建SparkContent的上下文的时候创建的，就像申报员，现在要构建一个能完成任务的集群，需要申报的是这次需要多少个Executor(可以简单理解为虚拟的机器)，每个Executor需要多少CPU,多少内存。 Job: 这是Driver在调用Action的时候生成的Job，让DAGScheduler线程进行最后的调度，代表着这时候RDD的状态分析完了，需要进行最后的Stage分析了，Job并不是提交给Executor运行的，一个Application存在多个Job Task: 一个Job可以分成多个Task, 相当于这些Task分到了一个Group里，这个Group的ID就是Job ID 2. Task的类型 Task的类型和Stage相关，关于Stage，以及Stage之间的相关依赖构成任务的不同提交，就不在这篇描述了 ShuffleMapSta