原创力文档- 1、本文档共11页，可阅读全部内容。
- 2、原创力文档（book118）网站文档一经付费（服务费），不意味着购买了该文档的版权，仅供个人/单位学习、研究之用，不得用于商业用途，未经授权，严禁复制、发行、汇编、翻译或者网络传播等，侵权必究。
- 3、本站所有内容均由合作方或网友上传，本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺！文档内容仅供研究参考，付费前请自行鉴别。如您付费，意味着您自己接受本站规则且自行承担风险，本站不退款、不进行额外附加服务；查看《如何避免下载的几个坑》。如果您已付费下载过本站文档，您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等，请点击“版权申诉”（推荐），也可以打举报电话：400-050-0827(电话支持时间：9:00-18:30)。
查看更多
Standalone模式
standalone模式概述运行流程
Standalone模式概述/01
Standalone模式，是spark自己实现的，是一个资源调度框架。 框架的三个节点： 1）client 2）master 3）workerStandalone模式概述
spark应用程序有一个Driver驱动，Driver可以运行在Client上也可以运行在master上。如果使用spark-shell提交job，它是运行在master上的，如果使用spark-submit或者IDEA开发工具方式运行，那么它是运行在Client上的。Client的主体作用就是运行Driver。而master除了资源调度的作用还可以运行Driver。 master和worker节点，standalone是一个主从模式，master节点负责资源管理，worker节点负责任务的执行。Standalone模式概述
运行流程/02
Standalone主要节点之后，它的运行流程，如图： 运行流程
1)当spark集群启动以后，worker节点会有一个心跳机制和master保持通信；2）SparkContext连接到master以后会向master申请资源，而master会根据worker心跳来分配worker的资源，并启动worker的executor进程；3）SparkContext将程序代码解析成dag结构，并提交给DagScheduler； 运行流程
4）dag会在DagScheduler中分解成很多stage，每个stage包含着多个task；5）stage会被提交给TaskScheduler，而TaskScheduler会将task分配到worker，提交给executor进程，executor进程会创建线程池去执行task，并且向SparkContext报告执行情况，直到task完成；6）所有task完成以后，SparkContext向Master注销并释放资源； 运行流程
1.Standalone模式概述 2.运行流程
文档评论（0）