CPU与GPU上几种矩阵乘法的比较与分析-计算机工程与应用.PDFVIP

Computer Engineering and Applications 计算机工程与应用 2011 ，47 （19） 9 CPU 与GPU 上几种矩阵乘法的比较与分析 刘进锋，郭 雷 LIU Jinfeng ，GUO Lei 西北工业大学 自动化学院，西安 710129 School of Automation ，Northwestern Polytechnical University ，Xi ’an 710129 ，China LIU Jinfeng ，GUO Lei.Comparison and analysis of matrix multiplications on GPU and CPU.Computer Engineering and Applications ，2011 ，47 （19）：9-11. Abstract ：Three matrix multiplications on CPU and four CUDA-based matrix multiplications on GPU are described ，the causes of high performance are analyzed and the common characteristic of efficient algorithm is that data are properly orga- nized and rationally utilized ，and therefore the access cost effectively reduced and the speed is greatly improved.The best op- timized implementation on CPU gain more 200 times fast than the common one ，the best optimized implementation on GPU gain about 6 times fast than the best one on CPU. Key words ：matrix multiplication ；Compute Unified Device Architecture（CUDA ）；Graphic Processing Unit（GPU ）；storage pattern 摘 要：描述了矩阵乘法在CPU 上的三种实现方法和在GPU 上基于CUDA 架构的四种实现方法，分析了高性能方法的原由，发 现它们的共同特点都是合理地组织数据并加以利用，这样能有效地减少存取开销，极大地提高算法的速度。其中CPU 上的最优 实现方法比普通算法快了200 多倍，GPU 上的最优实现方法又比CPU 上的最优实现方法快了约6 倍。 关键词：矩阵乘法；统一计算设备架构；图形处理器；存储模式 DOI ：10.3778/j.issn. 1002-8331.2011.19.003 文章编号：1002-8331（2011 ）19-0009-03 文献标识码：A 中图分类号：TP301 1 概述 拉越大。GPU 卓越的性能对开发GPGPU（使用GPU 进行通用 矩阵乘法是一种计算中经常用到并且很耗时的运算。研 计算）非常具有吸引力。近年来，GPU 的主要供应商NVIDIA 究测试各种矩阵乘法的实现方式，找到快速有效的算法具有 提出了新的GPGPU 模型，称为CUDA[2] 。详细描述并分析了4 很高的实用价值；分析总结这些算法对研究其他高性能计算 种GPU 上基于CUDA 的矩阵乘法，它们的性能依次提高。 也有很好的参考价值。 GPU 上高效率的算法实现需要充分利用GPU 多核的计算能力 一般而言，算法效率的改进主要可以通过两种途径来实 以及降低存取开销。CPU 和GPU 上矩阵乘法的高效算法的共 现：（1）降低计算复杂度；（2 ）减少程序在存取数据时所花费的 同的特征都是尽力把存取开销降到最低。 时间。