Spark资源调优方式.pptx

资源调优方式 1.了解资源调优哪几种方式.2.深入理解提交过程中的方式. 01资源调优有几种方式02提交过程中的方式方式详解 资源调优有几种方式01 资源调优有几种方式Spark集群搭建过程中给定足够的资源Spark任务提交过程中给定足够的资源两种方式 提交过程中的方式方式详解02 方式详解 充分利用当前节点的资源，例如：在搭建Spark Standalone集群时，某台服务器的配置为12核双线程256G内存，那么当这台节点为Spark的Worker节点提供资源时，可以最多分配256G内存和24个core。同样在Yarn资源调度框架运行Spark任务时，由于Executor运行在NodeManager中，可以充分利用NodeManager所在节点的资源。 方式详解 在集群搭建完成后，基于资源调度框架提交任务时，也可以通过提交任务的参数来指定当前Spark任务使用多少资源。 --driver-cores默认值取1 方式详解—driver-memory调节“—driver-memory”来指定Driver端内存大小 方式详解—executor-cores指定“—executor-cores”来指定启动一个executor使用更多的core，这样Spark任务处理数据越快--executor-memoryExecutor在执行过程中一定要保证有充足的内存 方式详解?--total-executor-cores通过指定“—total-executor-cores”来限制某个Spark应用程序最多使用多少core?--num-executors待处理的数据量还特别大，可以尝试增大这个参数 资源调优两种方式： （1）Spark集群搭建过程中给定足够的资源 （2）Spark任务提交过程中给定足够的资源