2spark持久化算子集群搭建基于yarn任务提交standaloneyarn流程详解作业.pdfVIP

1. RDD 的宽窄依赖和Stage RDD 的宽窄依赖： 窄依赖：父RDD 与子RDD 的partition 是一对一的 ， 或者父RDD 与子RDD 之间的 是多对一 宽依赖：（会产生shuffle ：如reducebykey 等能产生shuffle 的算子） 父RDD 与子RDD 之间的 是一对多。 Stage ： Spark 任务会根据 RDD 之间的依赖 ，形成一个 DAG 有 图，DAG 会提交给 DAGScheduler,DAGScheduler 会把D