CUDA存储器模型.docx

CUDA存储器模型：GPU片内：register，shared memory；板载显存：localmemory,constant memory, texture memory, texture memory,global memory;host 内存：host memory, pinned memory.?register: 访问延迟极低；????????????? 基本单元：register file （32bit/each）????????????? 计算能力1.0/1.1版本硬件：8192/SM；????????????? 计算能力1.2/1.3版本硬件： 16384/SM;????????????? 每个线程占有的register有限，编程时不要为其分配过多私有变量；local memory：寄存器被使用完毕，数据将被存储在局部存储器中；?????????????????????大型结构体或者数组；???????????????????? 无法确定大小的数组；???????????????????? 线程的输入和中间变量；???????????????????? 定义线程私有数组的同时进行初始化的数组被分配在寄存器中；shared memory：访问速度与寄存器相似；???????????????????????? 实现线程间通信的延迟最小；?????????????????????????保存公用的计数器或者block的公用结果；????????????????????????? 硬件1.0~1.3中，16KByte/SM,被组织为16个bank；????????????????????????? 声明关键字 _shared_? intsdata_static[16];global memory:存在于显存中，也称为线性内存（显存可以被定义为线性存储器或者CUDA数组）；????????????????????? cudaMalloc（）函数分配，cudaFree（）函数释放，cudaMemcpy（）进行主机端与设备端的数据传输；????????????????????? 初始化共享存储器需要调用cudaMemset（）；????????????????????? 二维三维数组：cudaMallocPitch（）和cudaMalloc3D（）分配线性存储空间，可以确保分配满足对齐要求；????????????????????? cudaMemcpy2D（），cudaMemcpy3D（）与设备端存储器进行拷贝；?host内存：分为pageable memory 和 pinned memorypageable memory：通过操作系统API（malloc（），new（））分配的存储器空间；、pinned memory：始终存在于物理内存中，不会被分配到低速的虚拟内存中，能够通过DMA加速与设备端进行通信；???????????????????????? cudaHostAlloc(), cudaFreeHost()来分配和释放pinned memory；???????????????????????? 使用pinned memory优点：主机端-设备端的数据传输带宽高；???????????????????????????????????????????????????????????? 某些设备上可以通过zero-copy功能映射到设备地址空间，从GPU直接访问，省掉主存与显存间进行数据拷贝的工作；?????????????????????????pinned memory 不可以分配过多：导致操作系统用于分页的物理内存变，导致系统整体性能下降；通常由哪个cpu线程分配，就只有这个线程才有访问权限；???????????????????????? cuda2.3版本中，pinned memory功能扩充：???????????????????????????????????????????????portable memory：让控制不同GPU的主机端线程操作同一块portable memory，实现cpu线程间通信；使用cudaHostAlloc（）分配页锁定内存时，加上cudaHostAllocPortable标志；????????????????????????????????????????? ???????write-combined Memory：提高从cpu向GPU单向传输数据的速度；不使用cpu的L1，L2 cache对一块pinned memory中的数据进行缓冲，将cache资源留给其他程序使用；在pci-e总线传输期间不会被来自cpu的监视打断；在调用cudaHostAlloc（）时加上cuda