- 1、本文档共5页,可阅读全部内容。
- 2、原创力文档(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
- 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
查看更多
spark中spark-submit内部实现原理
这两天在看spark-submit之后任务是怎么启动的,写篇文章记录一下自己的理解思路:
SparkSubmit(SparkDeploySchedulerBackend(AppClient(tryRegisterAllMaster
1:客户端启动,初始化相关的环境变量,包括Application代码的提交
2:向Master注册Driver
这里需要注意,Master,Worker是已经启动,换句话说,我们的spark集群已经启动。
3: SparkDeploySchedulerBackend中启动Application。向Master注册Application
def registerWithMaster() {
tryRegisterAllMasters()
import context.dispatcher
var retries = 0
registrationRetryTimer = Some {
context.system.scheduler.schedule(REGISTRATION_TIMEOUT, REGISTRATION_TIMEOUT) {
Utils.tryOrExit {
retries += 1
if (registered) {
registrationRetryTimer.foreach(_.cancel())
} else if (retries = REGISTRATION_RETRIES) {
markDead(All masters are unresponsive! Giving up.)
} else {
tryRegisterAllMasters()
}
}
}
}
}
def tryRegisterAllMasters() {
for (masterAkkaUrl - masterAkkaUrls) {
logInfo(Connecting to master + masterAkkaUrl + ...)
val actor = context.actorSelection(masterAkkaUrl)
actor ! RegisterApplication(appDescription)
}
}
主要是这两段代码:SparkDeploySchedulerBackend中有Application的start函数,进入到APPClient中之后,首先向master注册Application,就是上面代码中的tryRegisterAllMasters(),这里会向Master发送RegisterApplication(appDescription)。在Master端通过AKKA收到消息后处理该消息,处理代码如下:
case RegisterApplication(description) = {
if (state == RecoveryState.STANDBY) {
// ignore, dont send response
} else {
logInfo(Registering app + )
val app = createApplication(description, sender)
registerApplication(app)
logInfo(Registered app + + with ID + app.id)
persistenceEngine.addApplication(app)
sender ! RegisteredApplication(app.id, masterUrl)
schedule()
}
}
进行注册Application,并且发送已经注册App的消息。然后进行schedule()。
Schedule函数如下:
/**
* Schedule the currently available resources among waiting apps. This method will be called
* every t
您可能关注的文档
- QS认证(质量管理文件)肉制品1.docx
- QS认证所需文件.doc
- QSK-958超声波探伤仪使用说明书.doc
- QTL基因定位技术-正式文件.doc
- QSHXB00382-2016西北油田分公司井控实施细则第2部分井下作业.doc
- QT的配置文件.docx
- Qt的pro工程文件语法学习.docx
- Q法律法规清单(质量,请修改).doc
- R-SMP02-0019-02物料供应商现场质量审计记录.doc
- R03~09道路工程设计说明.doc
- 中国国家标准 GB/T 18233.4-2024信息技术 用户建筑群通用布缆 第4部分:住宅.pdf
- GB/T 18233.4-2024信息技术 用户建筑群通用布缆 第4部分:住宅.pdf
- GB/T 18978.210-2024人-系统交互工效学 第210部分:以人为中心的交互系统设计.pdf
- 《GB/T 18978.210-2024人-系统交互工效学 第210部分:以人为中心的交互系统设计》.pdf
- 中国国家标准 GB/T 18978.210-2024人-系统交互工效学 第210部分:以人为中心的交互系统设计.pdf
- GB/T 16649.2-2024识别卡 集成电路卡 第2部分:带触点的卡 触点的尺寸和位置.pdf
- 《GB/T 16649.2-2024识别卡 集成电路卡 第2部分:带触点的卡 触点的尺寸和位置》.pdf
- 中国国家标准 GB/T 16649.2-2024识别卡 集成电路卡 第2部分:带触点的卡 触点的尺寸和位置.pdf
- GB/T 17889.4-2024梯子 第4部分:铰链梯.pdf
- 《GB/T 17889.4-2024梯子 第4部分:铰链梯》.pdf
最近下载
- 百日咳试题附有答案.docx VIP
- 2024年广东省深圳市光明区人大常委会办公室招聘一般类岗位专干12人历年【综合基础知识500题】高频考点模拟试题及参考答案解析.docx VIP
- 高中语文任务驱动型材料作文:枯燥与热闹审题指导(含解析).docx VIP
- 某镇卫生院污水设计方案.pdf VIP
- 2024年广东深圳市光明区人大常委会办公室招聘一般类岗位专干3人历年【综合基础知识500题】高频考点模拟试题及参考答案解析.docx VIP
- 中考数学经验交流会发言稿.pdf
- 2024年7月广东省深圳市光明区人大常委会办公室招聘10人历年【高频考点汇总500题】模拟卷及参考答案详解.docx VIP
- 《溜冰圆舞曲和雷鸣电闪波尔卡》精品课件2023.pptx
- 水利项目安全评价报告.docx
- 2024年7月广东省深圳市光明区人大常委会办公室招聘10人历年【综合基础知识500题】高频考点模拟试题及参考答案解析.docx VIP
文档评论(0)