二零二三年 优质公开课Spark的运行模式.pptx

Spark的运行模式Spark的运行模式概述Spark的运行模式详解/01Spark运行模式概述Spark运行模式概述 Spark支持的运行模式：本地模式、本地集群模式、standalone模式、yarn模式及mesos模式。 /02Spark运行模式详解Spark运行模式详解 在实际应用中，Spark应用程序的运行模式取决于传递给SparkContext的MASTER环境变量的值，个别模式还需要依赖辅助的程序接口来配合使用，目前所支持的MASTER环境变量由特定的字符串或URL所组成，如下所示。Spark运行模式详解 （1）Local[N]：本地模式，使用多个线程。 （2）Local cluster[worker, core, Memory]：伪分布式模式，可以配置所需要启动的虚拟工作节点的数量，以及每个工作节点所管理的CPU数量和内存尺寸。 （3）Spark://hostname:port：Standalone模式，需要部署Spark到相关节点，URL为Spark Master主机地址和端口。Spark运行模式详解 （4）Mesos://hostname:port：Mesos模式，需要部署Spark和Mesos到相关节点，URL为Mesos主机地址和端口。 （5）YARN standalone/Yarn cluster：YARN模式一，主程序逻辑和任务都运行在YARN集群中。 Spark运行模式详解 （6）YARN client：YARN模式二，主程序逻辑运行在本地，具体任务运行在YARN集群中。1.Spark运行模式概述2.Spark运行模式详解