《大数据离线分析技术》课件——Spark内核概述.pptxVIP

Spark内核概述;Spark程序的配置;/01;先来看两张图：

如图所示，提交Spark程序的机器一般一定和Spark集群在同样的网络环境中（Driver频繁和Executors通信），且其配置和普通的Worker一致

;Driver：具有main方法的，初始化SparkContext的程序。Driver运行在提交Spark任务的机器上。Driver部分的代码：SparkConf+SparkContext

SparkContext:创建DAGScheduler,TaskScheduler,SchedulerBackend,在实例化的过程中Register当前程序给Master。Master接受注册，如果没有问题，Master会为当前程序分配AppId并分配计算资源

如图所示，提交Spark程序的机器一般一定和Spark集群在同样的网络环境中（Driver频繁和Executors通信），且其配置和普通的Worker一致

;

;/02;通过以下三种途径得到要为当前程序分配多少计算资源：

??(1)spark-env.sh和spark-default.sh中的配置信息

??(2)submit提供的参数

??(3)程序中，conf里定义的

Worker：不运行程序的代码，它管理当前节点的内存、CPU等计算资源，并接收Master的指令来分配具体的计算资