二零二三年 优质公开课shuffle操作的影响.pptx

张义 目录0102增加使用内存高磁盘I/O0302更多垃圾回收 增加使用内存1 增加使用内存由于shuffle操作涉及通过网络和数据串行化在服务器之间复制数据，因此其在网络和磁盘IO方面是一项昂贵的操作。因为shuffle操作涉及对数据进行分类，重新分区，并通过网络进行序列化/反序列化。它还涉及压缩数据以减少磁盘IO，所以它是一项昂贵的操作。 增加使用内存Spark使用map和reduce(不要与MapReduce map / reduce任务混淆）任务来组织shuffle的数据。它使用map任务来组织数据，使用reduce任务来聚合key以获得每个key的最终结果。 增加使用内存诸如reduceByKey和aggregateByKey之类的操作使用大量的Java堆内存来支持它们在内存中创建的数据结构（在shuffle前）和聚合（shuffle之后）数据。 高磁盘I/O2 高磁盘I/O由于诸如reduceByKey之类的操作在数据结构不能存放在内存中时会将其数据结构溢出到磁盘，所以会导致高磁盘Ⅰ/O的开销。在配置Spark上下文时，可以使用spark.local.dir配置属性（默认值为/ tmp )指定Spark 的临时存储目录的位置。 高磁盘I/OSpark在磁盘上生成中间文件，并保留它们，直到它们引用的RDD不再被使用并被垃圾回收。这就是说,如果需要重新计算RDD的血统， Spark可以使用中间文件。因此，长时间运行的Spark 作业可能会在临时存储目录中使用大量磁盘空间。 更多垃圾回收3 更多垃圾回收如上一节所述，大量的shuffle操作可能导致更多的垃圾回收（GC）操作，所有负面的事情都与大量的GC相关联。