spark源码阅读笔记.docx

spark源码解析文档v1.0北京东方国信科技股份有限公司目录1 spark源码阅读笔记42 spark源码之master与worker52.1.1 master节点的启动过程分析52.1.2 worker节点启动和注册73 driver进程的启动113.1.1 client节点主要流程113.1.2 mster节点主要流程133.1.3 woker节点主要流程143.1.4 启动流程图164 spark境变量184.1 sparkConf184.2 SparkContext185 RDD225.1 RDD分区列表。235.2 RDD的依赖列表235.2.1 窄依赖245.2.2 宽依赖265.3 RDD的分区计算函数265.4 分区器275.5 位置偏好285.6 全排序295.6.1 水塘采样305.6.2 获取分区边界326 stage的划分和提交356.1 Job的提交356.2 stage的划分366.3 stage的提交397 excutor启动流程437.1 CoarseGrainedSchedulerBackend的启动437.2 appliction的注册447.3 资源调度457.4 excutor的启动488 task的分发508.1 taskscheduler初始化508.2 submitMissingTasks518.3 resourceOffers528