二零二三年 优质公开课Spark部署模式.pptx

孟繁兴Spark部署模式 目录0102Spark部署模式集群管理器 Spark部署模式1 Spark部署模式本地模式仅使用单个服务器非分布式模式在本地运行Spark时，可以使用单个或多个工作线程只用于开发和测试集群模式Spark独立集群Apache MesosHadoop Yarn Spark部署模式Standalone模式被称为集群单机模式。该模式下，Spark集群架构为主从模式，即一台Master节点与多台Slave节点，Slave节点启动的进程名称为Worker，存在单点故障的问题。Standalone模式下执行的Spark应用程序包括以下实体：驱动程序：包括执行数据处理逻辑的Spark应用程序执行器：这是一个在每个工作节点上运行的JVM进程，处理驱动程序提交的作业任务：数据处理作业的子组件Standalone模式： Spark部署模式Mesos模式Mesos模式被称为Spark on Mesos模式。Mesos是一款开源的集群管理器，它允许不同的分布式计算框架共享集群资源。如果需要，可以在Mesos上实际运行Hadoop。Mesos为Spark提供服务，支持Spark和其他应用程序如Kafka和ElasticSearch由于Spark与Mesos存在密切的关系，因此在设计Spark框架时充分考虑到对Mesos的集成。 Spark部署模式Yarn模式Yarn模式被称为Spark on Yarn模式，即把Spark作为一个客户端，将作业提交给Yarn服务。在Yarn上运行Spark时，ResourceManager和运行在工作节点上的NodeManager管理Spark应用程序进程。由于在生产环境中，很多时候都要与Hadoop使用同一个集群，因此采用Yarn来管理资源调度，可以提高资源利用率。 Spark部署模式Yarn模式的优点 在相同集群上同时运行MapReduce、Spark和其他框架是很常见的，Yarn允许所有这些应用程序共享相同的集群资源池可以使用Yarn调度器（如Capacity Scheduler和Fair Scheduler)对集群工作负载进行分类和优先级排序通过Spark独立集群运行Spark应用程序时，应用程序在Yarn集群中的每个节点上运行执行器进程。使用Yarn，可以选择执行器的数目在Hadoop集群中使用Kerberizing，可以轻松地搞定进程之间的身份认证 集群管理器2 集群管理器Spark 可以运行在各种集群管理器上，并通过集群管理器访问集群中的机器。如果你只想在一堆机器上运行Spark，那么自带的独立模式是部署该集群最简单的方法。然而，如果我们有一个需要与别的分布式应用共享的集群（比如既可以运行Spark 作业又可以运行Hadoop MapReduce 作业），Spark 也可以运行在两个广泛使用的集群管理器——Hadoop YARN 与Apache Mesos 上面。