SparkStreaming源码解读之Driver容错安全性.docVIP

Spark Streaming源码解读之Driver容错安全性 本篇博文的目标如下： 1. ReceiverBlockTracker容错安全性 2. DStream和JobGenerator容错安全性 文章的组织思路如下： 考虑Driver容错安全性，我们要思考什么？ 再详细分析ReceiverBlockTracker，DStream和JobGenerator容错安全性 一：容错安全性 1. ReceivedBlockTracker负责管理Spark Streaming运行程序的元数据。数据层面 2. DStream和JobGenerator是作业调度的核心层面，也就是具体调度到什么程度了，从运行的考虑的。DStream是逻辑层面。 3. 作业生存层面，JobGenerator是Job调度层面，具体调度到什么程度了。从运行的角度的。 谈Driver容错你要考虑Driver中有那些需要维持状态的运行。 1. ReceivedBlockTracker跟踪了数据，因此需要容错。通过WAL方式容错。 2. DStreamGraph表达了依赖关系，恢复状态的时候需要根据DStream恢复计算逻辑级别的依赖关系。通过checkpoint方式容错。 3. JobGenerator表面你是怎么基于ReceiverBlockTracker中的数据，以及DStream构成