reduction技巧.pptVIP

Parallel Reduction Parallel Reduction Parallel Reduction可以理解为将一个数组中的所有数相加求和的过程并行化 Tree-based approach used within each thread block Need to be able to use multiple thread blocks CUDA本身并不支持全局同步（Global Synchronization），CUDA的kernel运行时有一个特性，同一时间只能有一个kernel运行，这样我们便可以将每一层规约作为一个kernel来重复递归调用 Kernel Decomposition 通过调用多个kernel分解计算来解决Global Synchronization问题 Global Synchronization代价大，效率低，Kernel忽略HW代价，SW代价也很低 Reduction #1: Interleaved Addressing（交错寻址） Reduction #1: Interleaved Addressing（交错寻址） Reduction #1: Interleaved Addressing（交错寻址） 1个warp中有32个线程，在相同的时间要执行相同的指令 Reduction #2: Interleaved Addressing Just replace divergent branch in inner loop: With strided index （跨步寻址）and non-divergent branch: Reduction #2: Interleaved Addressing Reduction #2: Interleaved Addressing 例如s=1时：index=0,2,4,6,... Reduction #3: Sequential Addressing（连续寻址） Reduction #3: Sequential Addressing Just replace strided indexing （跨步寻址）in inner loop: With reversed loop and threadID-based indexing: Reduction #3: Sequential Addressing Problem: 新的问题又出现了，我们发现在for循环中，因为 if (tid s) 的缘故，在第一次循环的时候有一半的线程都处于闲置状态！如果我们能全部利用的话，相信性能还会提升很多。这也是我们以后要进行优化的地方，避免线程闲置。 Reduction #4: First Add During Load 将所有的线程块分成两份, and replace single load: With two loads and first add of the reduction: 优化的目的是在将数据从global读入共享内存的同时进行第一次规约 Reduction #4: First Add During Load Reduction #5: Unroll the Last Warp 这时我们的数据带宽已经达到了17 GB/s，而我们清楚Reduction的算术强度（arithmetic intensity）很低，因此系统的瓶颈可能是由于Parallel Slowdown，即系统对于指令、调度的花费超过了实际数据处理的花费。 我们的解决办法是将for循环展开（Unroll the loop）。我们知道，在Reduce的过程中，活动的线程数是越来越少的，当活动的线程数少于32个时，我们将只有一个线程束（Warp）。在单个Warp中，指令的执行遵循SIMD（Single Instruction Multiple Data）模式，也就是说在活动线程数少于32个时，我么不需要进行同步控制。 Reduction #5: Unroll the Last Warp 注意：这在所有的warps中都省去了无用过的过程，不只是最后一个warp。如果不进行循环展开，则所有的warps都会执行for中的每一次循环和每一次if判断 Reduction #6: Completely Unrolled 如果我们知道在编译时间内所有的迭代次数，我们可以complete unroll the reduction,GPU的block size被限制为512 对于固定的block size我们可以很容易的展开,把这个问题一般化CUDA supports