sparkshuffle原理、shuffle操作问题解决和参数调优.docVIP

Spark Shuffle原理、Shuffle操作问题解决和参数调优 Spark Shuffle原理、Shuffle操作问题解决和参数调优 摘要： 1 shuffle原理 　　1.1 mapreduce的shuffle原理 　　　　1.1.1 map task端操作 　　　　1.1.2 reduce task端操作 　　 1.2 spark现在的SortShuffleManager 2 Shuffle操作问题解决 　　 2.1 数据倾斜原理 2.2 数据倾斜问题发现与解决 2.3 数据倾斜解决方案 3 spark RDD中的shuffle算子 3.1 去重 3.2 聚合 3.3 排序 3.4 重分区 3.5 集合操作和表操作 4 spark shuffle参数调优 内容： 　1 shuffle原理 概述：Shuffle描述着数据从map task输出到reduce task输入的这段过程。在分布式情况下，reduce task需要跨节点去拉取其它节点上的map task结果。这一过程将会产生网络资源消耗和内存，磁盘IO的消耗。 　　 1.1 mapreduce的shuffle原理 　　　　1.1.1 map task端操作 　　　　每个，存储着map的输出结果，当缓冲区快满的时候需要将缓冲区的数据以一个临时文件的方式存放到磁盘，当整个map task产生的所有临时文件做合并，生成最终的正式输出文件，然后等待reduce task来拉数据。 　　　　Spill过程：这个从内存往磁盘写数据的过程被称为Spill，中文可译为溢写。整个缓冲区有个溢写的比例spill.percent（默认是memory写，同时溢写线程锁定已用memory，先对key(序列化的字节)做排序,如果client程序设置了Combiner，那么在溢写的过程中就会进行局部聚合。 　　　　Merge过程：每次溢写都会生成一个临时文件，在map task真正完成时会将这些文件归并成一个文件，这个过程叫做Merge。 　　　　1.1.2 reduce task端操作 　　　　当某台TaskTracker上的所有map task执行完成，对应节点的reduce task开始启动，简单地说，此阶段就是不断地拉取(Fetcher)每个map task所在节点的最终结果，然后不断地做merge形成reduce task的输入文件。 　　　　Copy过程：TaskTracker的map阶段输出文件 　　　　Merge过程：Copy过来的数据会先放入内存缓冲区（基于JVM的heap size设置），如果内存缓冲区不足也会发生map task的spill（sort 默认,combine 可选），多个溢写文件时会发生map task的merge 　　　　下面总结下mapreduce的关键词： 　　　　　　存储相关的有：内存缓冲区，默认大小，溢写阀值 　　　　　　主要过程：溢写（spill），排序，合并（combine），归并（Merge）,Copy或Fetch 　　　　　　相关参数：内存缓冲区默认大小，JVM heap size，spill.percent 　　　　　　详细 　　 1.2 spark现在的　　 SortShuffleManager运行原理 SortShuffleManager的运行机制主要分成两种，一种是普通运行机制，另一种是bypass运行机制。当的数量小于等于spark.shuffle.sort.bypassMergeThreshold参数的值时（默认为200），就会启用 bypass机制。 普通运行机制 下图说明了普通的SortShuffleManager的原理。在该模式下，数据会先写入一个内存数据结构中，此时根据不同的shuffle算子，可能选用不同的数据结构。如果是reduceByKey这种聚合类的shuffle算子，那么会选用Map数据结构，一边通过joinshuffle算子，那么会选用Array数据结构，直接写入内存。接着，每写一条数据进入内存数据结构之后，就会判断一下，是否达到了某个临界阈值。如果达到临界阈值的话，那么就会尝试将内存数据结构中的数据溢写到磁盘，然后清空内存数据结构。 在溢写到磁盘文件之前，会先根据key对内存数据结构中已有的数据进行排序。 10000条，也就是说，排序好的数据，会以每批1万条数据的形式分批写入磁盘文件。写入磁BufferedOutputStream是Java的缓冲输出流，首先会将数 据缓冲在内存中，当内存缓冲满溢之后再一次写入磁盘文件中，这样可以减少磁盘IO次数，提升性能。 一个ta