sparkshuffle原理、shuffle操作问题解决和参数调优.pdfVIP

Spark Shuffle 原理、Shuffle 操作问题解决和参数调优 Spark Shuffle 原理、Shuffle 操作问题解决和参数调优 摘要： 1 shuffle 原理 1.1 mapreduce 的shuffle 原理 1.1.1 map task 端操作 1.1.2 reduce task 端操作 1.2 spark 现在的SortShuffleManager 2 Shuffle 操作问题解决 2.1 数据倾斜原理 2