数据仓库体系课程：Spark优化技术详解.pdfVIP

Spark优化【Spark优化内容】

主要内容

1.Spark资源优

化2.Spark并行度

优化3.Spark代码

优化4.内存调优5.

SparkShuffle优化

6.堆外内存优化7.

解决数据倾斜

第一节资源优化

1).Spark集群时要为Spark集群足够的资源（

数、内存）在spark安装包的conf目录下的spark‑env.sh文

____

件中设置SPARKWORKERCORESSPARKWORKER

__

MEMORYSPARKWORKERINSTANCE

2).在提交Application的时候给Application分配的资源。

提交命令选项：(在提交Application的时候使用选项)‑‑

executor‑cores‑‑executor‑memory‑‑total‑executor‑cores配