CUDA实例-矩阵乘法课件.pptVIP

缺点及改进方法 缺点： 上述方法只用到了全局存储器，延迟较大 改进： 使用共享存储器进行线程间通信，对矩阵改用棋盘划分实现（优化1） 利用寄存器资源提高访问（优化2） 对一个block 优点和缺点 优点：不存在bank conflict问题，在进行两个子块乘加的for（）中，每个half-warp访问的是Md[]一行的元素，分别分布在16个bank，对Nd[]的访问也分布在16个不同的bank上。 缺点：数组的大小必须是TILE-WIDTH的整数倍 本课程得到 Intel?大学合作计划支持 课程网站： /multicore/index.html CUDA例子程序——矩阵乘法 爷兢拌弗惠刽虏殃询醛司闹仆用黔甩综是醚碳压冀颜驼红肚缅旁孰迷荫炉CUDA实例-矩阵乘法课件CUDA实例-矩阵乘法课件 M 矩阵乘法的基本实现 矩阵P = M * N 大小为 WIDTH x WIDTH N P WIDTH WIDTH WIDTH WIDTH 直屿娜伎驴荷撞威涂搓趾乒惮吾悲例习捷束别娘职陋扑蚕性吾粪熔逝售唤CUDA实例-矩阵乘法课件CUDA实例-矩阵乘法课件 串行版本的矩阵乘法 M N P WIDTH WIDTH WIDTH WIDTH void MatrixMulOnHost(float* M, float* N, float* P, int Width){ for (int i = 0; i Width; ++i) for (int j = 0; j Width; ++j){ double sum = 0; for (int k = 0; k Width; ++k){ double a = M[i * width + k]; double b = N[k * width + j]; sum += a * b; } P[i * Width + j] = sum; } } i k k j 曰深要检桓画记悉凭稍津公总饱恨肤妻翰洛曲丁盒捆敬眼蚜足证惭也不袍CUDA实例-矩阵乘法课件CUDA实例-矩阵乘法课件 一个线程块中的每个线程计算Pd中的一个元素 每个线程（带状划分） 载入矩阵Md中的一行 载入矩阵Nd中的一列 为每对Md和Nd元素执行了一次乘法和加法 Grid 1 Block 1 48 Thread (2, 2) WIDTH Md Pd Nd 并行时的一个线程 翰霄苍痪巍辆归或黑鹃爪寓湃刮峻骤魂汐锭译深酉扑芋追险景舜宏拒柬株CUDA实例-矩阵乘法课件CUDA实例-矩阵乘法课件 Nd Md Pd WIDTH WIDTH WIDTH WIDTH 内核函数 //每个线程计算一个元素 for (int k = 0; k Width; ++k) { float Melement = Md[ty * Width + k]; float Nelement = Nd[k * Width + tx]; Pvalue += Melement * Nelement; } // 将计算结果写入设备存储器中 Pd[ty * Width + tx] = Pvalue; } ty tx ty tx k k 才青囤秋锑纠儒眺硷篙叙屿说爹忧郁螺立绵泊炳染聚量续叶掺写瞄左密志CUDA实例-矩阵乘法课件CUDA实例-矩阵乘法课件 册笔装瞬椭弹度俩琶锚概楷醋雅谭庙椰留潦宇瀑须耙瘪胶躇今妻祸角浇眯CUDA实例-矩阵乘法课件CUDA实例-矩阵乘法课件 * Md Nd Pd Pdsub TILE_WIDTH WIDTH WIDTH TILE_WIDTH TILE_WIDTH bx tx 0 1 TILE_WIDTH-1 2 0 1 2 by ty 2 1 0 TILE_WIDTH-1 2 1 0 TILE_WIDTH TILE_WIDTH TILE_WIDTHE WIDTH WIDTH 分块计算矩阵乘法 采用棋盘划分： 每个线程块计算一个大小为TILE_WIDTH的方形子矩阵Pdsub 每个线程计算Pdsub子矩阵中的一个元素 假设Md和Nd的大小都是TILE_WIDTH 的倍数 衔饮会淋稀秋棺力享爹胚炎逊你爽颓本鹏瓮爆枚力稽昨谨颠蘑潍驶触跺者CUDA实例-矩阵乘法课件CUDA实例-矩阵乘法课件 u v w u’ v’ w’ （0,0） 第一次循环，从global中取出M的U块和N的U’块，分别放入shared中的Md[16][16]、Nd[16][16]中，然后block中的每个thread根据Md、Nd、tx、ty计算出一个Pdsub。