58分区与数据倾斜初步理解并行度与性能瓶颈69课件讲解.pptxVIP

5.8分区与数据倾斜初步理解并行度与性能瓶颈

分区——并行度的基石核心要点：分区决定并行度?物理划分：数据的物理划分，每个分区由Executor的一个线程处理。?数量影响：过少导致资源闲置，过多导致调度开销大。?理想值：建议单分区数据量约100MB，或与集群核心数成比例。详细说明：Task与资源调度在Spark中，分区是并行计算的基本单位，每个分区对应一个Task。若分区数少于核心数会浪费资源；若过多则每个Task处理数据量过小，调度开销显著增加。

如何查看和调整分区数？查看分区数rdd.partitions.length/rdd.getNumPartitions调整分区数coalesce(n)(减少分区)特点：不触发Shuffle，效率较高。注意：若减少幅度过大可能导致数据倾斜。repartition(n)(任意调整)特点：可增加或减少分区，会触发全量Shuffle，资源开销较大，适合需要彻底重分布的场景。??最佳实践：仅需减少分区时优先使用coalesce；需要增加分区或大幅重分布时使用repartition。