CUDA并行编程从入门到实战指南.docxVIP

CUDA并行编程从入门到实战指南

一、CUDA编程基础入门

（一）核心概念解析

CUDA架构核心组成

主机（Host）与设备（Device）：主机指CPU及其内存，设备指GPU及其显存，二者通过PCIe总线通信。

线程层次结构：线程（Thread）→线程块（Block）→网格（Grid），Block内线程可通过共享内存通信，Grid内Block间需借助全局内存。

SIMT架构：单指令多线程（SingleInstructionMultipleThreads），32个线程组成一个Warp（线程束），是GPU的基本执行单元。

内存层次体系

内存类型

访问速度

作用范围

关键特性

寄存器（Register）

最快

单个线程

私有存储，自动分配回收

共享内存（SharedMemory）

较快

线程块内

用户管理，可减少全局内存访问

全局内存（GlobalMemory）

较慢

整个Grid

容量大，需优化访问模式

常量内存（ConstantMemory）

较慢

整个Grid

只读，支持缓存优化

（二）开发环境搭建

硬件要求：支持CUDA的NVIDIA显卡（计算能力3.5及以上），推荐Turing架构及后续型号。

软件安装：

安装NVIDIA驱动程序（对应GPU型号的最新稳定版）

安装CUDAToolkit11.x（含编译器nvcc、调试工具Nsight）

配置开发环境：VisualStudio（Windows）或GCC（Linux）+CMake

验证环境：

nvcc-V#查看CUDA编译器版本

nvidia-smi#查看GPU状态及支持的CUDA版本

（三）第一个CUDA程序：向量加法

#includestdio.h

#includecuda_runtime.h

//设备端内核函数：向量加法

__global__voidvectorAdd(constfloat*A,constfloat*B,float*C,intn){

inti=blockDim.x*blockIdx.x+threadIdx.x;//计算线程全局索引

if(in){//避免线程越界

C[i]=A[i]+B[i];

}

}

//主机端函数

intmain(){

intn=1024;

size_tsize=n*sizeof(float);

//1.主机内存分配

float*h_A=(float*)malloc(size);

float*h_B=(float*)malloc(size);

float*h_C=(float*)malloc(size);

//2.初始化主机数据

for(inti=0;in;i++){

h_A[i]=i;

h_B[i]=i*2;

}

//3.设备内存分配

float*d_A,*d_B,*d_C;

cudaMalloc((void**)d_A,size);

cudaMalloc((void**)d_B,size);

cudaMalloc((void**)d_C,size);

//4.数据从主机拷贝到设备

cudaMemcpy(d_A,h_A,size,cudaMemcpyHostToDevice);

cudaMemcpy(d_B,h_B,size,cudaMemcpyHostToDevice);

//5.启动内核函数

intblockSize=256;//每个线程块的线程数

intgridSize=(n+blockSize-1)/blockSize;//线程块数量

vectorAddgridSize,blockSize(d_A,d_B,d_C,n);

//6.结果从设备拷贝回主机

cudaMemcpy(h_C,d_C,size,cudaMemcpyDeviceToHost);

//7.验证结果

for(inti=0;i5;i++){

printf(C[%d]=%f\n,i,h_C[i]);//输出：0.000000,