Spark应用程序的资源分配限制.pptx

张义 目录0102Spark受到YARN的限制设置Spark配置属性 Spark受到YARN的限制1 Spark受到YARN的限制在前面的课程中，我们学习了如何设置YARN属性来限制YARN可以使用的最大内存量和虚拟CPU内核数。Spark的资源使用（RAM和CPU）也受到相同的属性设置的限制，这里总结如下：yarn.nodemanager.resource.memory-mb参数用来设置可以分配给在NodeManager的集群节点上运行的所有容器的内存上限。该内存可由Spark以及非Spark应用程序（MapReduce 和其他程序）使用。yarn.nodemanager.resource.cpu-vcores属性用于确定节点上所有容器使用的最大内核数。 Spark受到YARN的限制我们在学习YARN内存分配时说过，内存分配是以块为单位进行的，其中块大小由yarn.scheduler.minimum-allocation-mb property 属性指定——YARN可以为每个容器请求分配的最小内存块。可以以不同的方式设置配置属性。下面我们会学习到使用设置执行器内核数的属性。 可以在spark-defaults.conf文件或SparkConf对象中设置spark.executor.cores属性。当从命令行调用spark-submit、 spark-shell或pyspark时，