CUDA超大规模并行程序设计.pptVIP

PoC Modeling Framework 提纲 从GPGPU到CUDA CUDA并行程序组织 并行执行模型 CUDA基础 CUDA存储器 CUDA程序设计工具 程序优化 Graphic Processing Unit (GPU) 用于个人计算机、工作站和游戏机的专用图像显示设备 显示卡 nVidia和ATI (now AMD)是主要制造商 Intel准备通过Larrabee进入这一市场 主板集成 Intel 3维图像流水线 实时3维高速图形处理 一帧典型图像 1M triangles 3M vertices 25M fragments 30 frames/s 30M triangles/s 90M vertices/s 750M fragments/s 传统GPU架构 GPU的强大运算能力 General Purpose Computing on GPU (GPGPU) GPGPU 核心思想 用图形语言描述通用计算问题 把数据映射到vertex或者fragment处理器 但是 硬件资源使用不充分 存储器访问方式严重受限 难以调试和查错 高度图形处理和编程技巧 NVidia G200 Architecture CUDA: Compute Unified Device Architecture 通用并行计算模型 单指令、多数据执行模式 (SIMD) 所有线程执行同一段代码(1000s threads on the fly) 大量并行计算资源处理不同数据 隐藏存储器延时 提升计算／通信比例 合并相邻地址的内存访问 快速线程切换1 cycle@GPU vs. ~1000 cycles@CPU 混合计算模型 CUDA: 集成CPU + GPU C应用程序 CPU: 顺序执行代码 GPU = 超大规模数据并行协处理器 “批发”式执行大量细粒度线程 CUDA成功案例 CUDA性能 BLAS3: 127 GFLOPS //基本线性代数: matrix-matrix FFT: 52 benchFFT*GFLOPS FDTD: 1.2 Gcells/sec //计算电动力学 SSEARCH: 5.2 Gcells/sec //Smith-Waterman基因序列比较 Black Scholes: 4.7GOptions/sec //期权定价模型 VMD: 290 GFLOPS //分子动力学图形显示 Problem Instances for Sparse Matrix Vector Product (SMVP) SPMV Throughput on GTX280 SMVP Application: Static Timing Analysis Static Timing Analysis Results on GTX280 提纲 从GPGPU到CUDA CUDA并行程序组织 并行执行模型 CUDA基础 CUDA存储器 CUDA程序设计工具 程序优化 并行性的维度 1维 y = a + b //y, a, b vectors 2维 P = M ? N //P, M, N matrices 3维 CT or MRI imaging 并行线程组织结构 Thread: 并行的基本单位 Thread block: 互相合作的线程组 Cooperative Thread Array (CTA) 允许彼此同步 通过快速共享内存交换数据 以1维、2维或3维组织 最多包含512个线程 Grid: 一组thread block 以1维或2维组织 共享全局内存 Kernel: 在GPU上执行的核心程序 One kernel ? one grid Parallel Program Organization in CUDA 并行线程执行 调用kernel function 需要指定执行配置 Threads和blocks具有IDs threadIdx: 1D, 2D, or 3D blockIdx: 1D, or 2D 由此决定相应处理数据 实例1: Element-Wise Addition //CPU program //sum of two vectors a and b void add_cpu(float *a, float *b, int N) { for (int idx = 0; idxN; idx++) a[idx] += b[idx]; } void main() { ..... fun_add(a, b, N); } 提纲 从GPGPU到CUDA CUDA并行程序组织 并行执行模型 CUDA基础 CUDA存储器 CUDA程序设计工具 程序优化 CUDA Processing Flow 并行线程执行 SM内以(warp