Spark平台架构与搭建运行模式.pptx

;;;? Spark的运行模式多种多样，灵活多变，部署在单机上时，既可以用本地模式运行，也可以用伪分布模式运行，而当以分布式集群的方式部署时，也有众多的运行模式可供选择，这取决于集群的实际情况，底层的资源调度即可以依赖外部资源调度框架，也可以使用Spark内建的Standalone模式。 ? 对于外部资源调度框架的支持，目前的实现包括相对稳定的Mesos模式，以及Hadoop YARN模式。 ? 本地模式：常用于本地开发测试，本地还分别 local 和 local cluster。;Standalone模式使用Spark自带的资源调度框架 采用Master/Slaves的典型架构，选用ZooKeeper来实现Master的HA ;该模式主要的节点有Client节点、Master节点和Worker节点。其中Driver既可以运行在Master节点上，也可以运行在本地Client端。当用spark-shell交互式工具提交Spark的Job时，Driver在Master节点上运行；当使用spark-submit工具提交Job或者在Eclips、IDEA等开发平台上使用 ”new SparkConf.setManager(“spark://master:7077”)” 方式运行Spark任务时，Driver是运行在本地Client端上的。;理解YARN-Client和YARN-Cluster深层次的区别之前先清楚一个概念：Application Master。在YARN中，每个Application实例都有一个ApplicationMaster进程，它是Application启动的第一个容器。它负责和ResourceManager打交道并请求资源，获取资源之后告诉NodeManager为其启动Container。从深层次的含义讲YARN-Cluster和YARN-Client模式的区别其实就是ApplicationMaster进程的区别。 YARN-Cluster模式下，Driver运行在AM(Application Master)中，它负责向YARN申请资源，并监督作业的运行状况。当用户提交了作业之后，就可以关掉Client，作业会继续在YARN上运行，因而YARN-Cluster模式不适合运行交互类型的作业。 YARN-Client模式下，Application Master仅仅向YARN请求Executor，Client会和请求的Container通信来调度他们工作。;RDD在Spark中运行大概分为以下三步： ? 创建RDD对象 DAGScheduler模块介入运算，计算RDD之间的依赖关系，RDD之间的依赖关系就形成了DAG 每一个Job被分为多个Stage。划分Stage的一个主要依据是当前计算因子的输入是否是确定的，如果是则将其分在同一个Stage，避免多个Stage之间的消息传递开销;;以下面一个按 a-z 首字母分类，查找相同首字母下不同姓名总个数的例子来看一下 RDD 是如何运行起来的;创建 RDD? 上面的例子除去最后一个 collect 是个动作，不会创建 RDD 之外，前面四个转换都会创建出新的 RDD 。 创建执行计划 Spark 会尽可能地管道化，并基于是否要重新组织数据来划分阶段 (stage),例如本例中的 groupBy() 转换就会将整个执行计划划分成两阶段执行。最终会产生一个 DAG(directed acyclic graph ，有向无环图 ) 作为逻辑执行计划。 ;HadoopRDD;