- 1、本文档共5页,可阅读全部内容。
- 2、原创力文档(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
- 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
- 5、该文档为VIP文档,如果想要下载,成为VIP会员后,下载免费。
- 6、成为VIP后,下载本文档将扣除1次下载权益。下载后,不支持退款、换文档。如有疑问请联系我们。
- 7、成为VIP后,您将拥有八大权益,权益包括:VIP文档下载权益、阅读免打扰、文档格式转换、高级专利检索、专属身份标志、高级客服、多端互通、版权登记。
- 8、VIP文档为合作方或网友上传,每下载1次, 网站将根据用户上传文档的质量评分、类型等,对文档贡献者给予高额补贴、流量扶持。如果你也想贡献VIP文档。上传文档
查看更多
Spark 的checkpoint 源码讲解
Checkpoint 相关源码分四个步部分
1,Checkpoint 的基本使用:core 和Streaming。
2,初始化的源码。
3,Checkpoint 的job 生成及执行的过程。
4,读Checkpoint 的过程。
一,Checkpoint 的基本使用
Checkpoint 可以还原 。辅助Spark 应用从故障中恢复。SparkStreaming 宕机恢复,
适合调度器有自动重试功能的。对于SparkCore 则适合那些计算链条超级长或者计算耗时的
关键点进行Checkpoint,便于故障恢复。
Checkpoint 和persist 从根本上不一样:
1,Cacheorpersist
Cacheorpersist 保存了RDD 的血统关系,假 部分cache 的数据丢失可以根据血缘关
系重新生成。
2,Checkpoint
会将RDD 数据写到hdfs 这种安全的文件系统里,并且抛弃了RDD 血缘关系的 。即
使persist 存储到了磁盘里面,在driver 停掉之后会被删除,而checkpoint 可以被下次启动使
用。
Checkpoint 基本使用
对于SparkStreaming 任务,请参考源码例子RecoverableNetworkWordCount
对SparkCore:
DoCheckpoint
val sc new SparkContext(confspark)
sc.setCheckpointDir("/test/checkpoint")
val textrdd=sc.textFile("/agent/test.txt")
textrdd.checkpoint()
val count textrdd.count()
val file textrdd.getCheckpointFile
println(file)
Recover
val count
sc.checkpointFile("/test/checkpoint/7ce1511a-c25c-4ba7-9846-ee702e5c470d/rdd-1")
.count()
println(count)
二,Checkpoint 的初始化源码
1,设置Checkpoint 目录
sc.setCheckpointDir("checkpointDirectory")
2,调用Checkpoint 方法,构建checkpointData
mapped.checkpoint()
checkpointData Some(new ReliableRDDCheckpointData(this))
三,DoCheckpoint 源码
在SparkContext 的runJob 方法中
rdd.doCheckpoint()
进入之后
if (checkpointData.isDefined) {
checkpointData.get.checkpoint()
} else {
dependencies.foreach(_.rdd.doCheckpoint())
}
RDDCheckpointData 中真正做Checkpoint 返回一个新的RDD 并清除掉依赖关系
val newRDD doCheckpoint()
// Update our state and truncate the RDD lineage
RDDCheckpointData.synchronized {
cpRDD Some(newRDD)
cpState Checkpointed
rdd.markCheckpointed()
}
ReliableRDDCheckpointData 中真正进行Checkpoint 操作
val newRDD ReliableCheckpointRDD.writeRDDToCheckpointDirectory(rdd, cpDir)
在该方法中
1,获取sc
val sc originalRDD.sparkContext
2,创建输出目录
val checkpointDirPath new Path(checkpointDir)
val fs checkpointDirPath.getFileS
1亿VIP精品文档
相关文档
最近下载
- 学而思网校小学奥数(二年级).pdf
- AP微积分BC 2021年真题 附答案和评分标准 AP Calculus BC 2021 Real Exam with Answers and Scoring Guideline.pdf VIP
- 静区反射电平.doc
- 高考英语复习:七选五专题复习PPT课件(共55张PPT).ppt
- 《种子的秘密》课件PPT.pptx
- 高中语文课件:高考小说探究题.ppt VIP
- SAJ三晶PDG10智能水泵变频器用户手册使用说明书.pdf
- 2023年河北省新高考政治试卷真题(含答案).pdf
- 德语说明书德语说明书.pdf
- 《邮轮概论》教学课件—01邮轮船舶.ppt VIP
文档评论(0)