CUDA_超大规模并行程序设计创新.pptVIP

Coalesced Global Memory Accesses 在half-warp层次对访问global memory进行协调 访问连续global memory区域: 64 bytes - each thread reads a word: int, float, … 128 bytes - each thread reads a double-word: int2, float2, … 256 bytes – each thread reads a quad-word: int4, float4, … 额外限制: Global memory区域的起始地址必须是该区域数据类型尺寸的整数倍 Warp中第k个线程访问第k个地址 例外: 可以有某些中间线程不参加 Predicated access, divergence within a warp Coalesced Global Memory Accesses Non-Coalesced Global Memory Accesses Non-Coalesced Global Memory Accesses 提纲 从GPGPU到CUDA CUDA并行程序组织 并行执行模型 CUDA存储器 Shared memory Global memory CUDA程序设计工具 程序优化 下载CUDA软件 /object/cuda_get_cn.html CUDA driver 硬件驱动 CUDA toolkit 工具包 CUDA SDK 程序范例及动态链接库 CUDA Visual Profiler 程序剖析工具 软件环境 GPU硬件和CUDA软件安装后: CPU (Host) CUDA Libraries (CUFFT CUBLAS) CUDA Runtime Libraries CUDA Driver Application GPU (Device) CUDA程序的编译(compile) CUDA源文件被nvcc处理 nvcc is a compiler driver nvcc输出： PTX (Parallel Thread eXecution) Virtual ISA for multiple GPU hardware Just-In-Time compilation by CUDA runtime GPU binary Device-specific binary object Standard C code With explicit parallelism C/C++ CUDA Application NVCC PTX Code C/C++ CPU Code Generic CUDA Runtime Specialized Other GPUs G80 GT200 CUDA Binary DEBUG make dbg=1 CPU代码以debug模式编译 可以用debugger (e.g. gdb, visual studio)运行 但不能检查GPU代码的中间结果 make emu=1 在CPU上以emulation方式顺序运行 可以使用printf()打印中间结果 基本顺序执行 但不能再现线程间的竞争(race)现象 浮点运算结果可能有微小的差别 检查资源使用 使用-cubin flag编译开关 检查.cubin文件的”code”部分 architecture {sm_10} abiversion {0} modname {cubin} code { name = BlackScholesGPU lmem = 0 smem = 68 reg = 20 bar = 0 bincode { 0xa0004205 00x40024c09 0… per thread local memory per thread block shared memory per thread registers 提纲 从GPGPU到CUDA CUDA并行程序组织 并行执行模型 CUDA存储器 Shared memory Global memory CUDA程序设计工具 程序优化 针对GPU优化算法 最大化独立并行性 最大化算术计算密度(math/bandwidth) 重复计算往往优于访问存储器 GPU spends its transistors on ALUs, not memory 尽量在GPU上计算以避免与CPU传递数据 即使低并行度运算也往往优于频繁的CPU-GPU数据传递 利用Shared Memory 几百倍快于global memory 线程之间通过shared memory合作 使用一个或少量线程装载和计算thread block内全部线程共享