NVIDIA GPU上的Linpack性能测试初探.docxVIP

1. Linpack 测试简介NVIDIAGPU 上的 1. Linpack 测试简介 NVIDIAGPU 上的 Linpack 性能测试初探 Linpack Linpack 性能测试是高性能计算机的标准测试之一，其测试性能是全球 Top500超级计算 机排行榜的排名依据[1]。 Top500每年公布两次排行榜，在2010年6月的榜单中，由曙光公 机排行榜的排名依据[1]。 Top500每年公布两次排行榜，在2010年6月的榜单中，由曙光公 司研制的星云超级计算机取得了第 司研制的星云超级计算机取得了第2名的好成绩，其采取了通用 CPU (Intel Xeon 5650) 和 异构加速部件(NVIDIA Tesla C2050)的混合架构。在本次榜单中，以GPU 作为加速部件的超 异构加速部件(NVIDIA Tesla C2050)的混合架构。在本次榜单中，以GPU 作为加速部件的超 级计算机还有国防科大研制的天河1号(第7名)和中科院过程所研制的 IPE Mole-8.5(第19名) 级计算机还有国防科大研制的天河1号(第7名)和中科院过程所研制的 IPE Mole-8.5(第19名) 等。 等。 简单来说，Linpack 测试是用高斯消元法求解稠密线性方程组(64位的双精度浮点数)。 简单来说，Linpack 测试是用高斯消元法求解稠密线性方程组(64位的双精度浮点数)。 在 在 CPU 上，有标准的参考实现HPL 软件包[2]，其实现了二维块卷帘的数据分布，部分选主 元的 元的 LU 分解，递归的Panel 分解，look-ahead 技术，多种广播算法等多种算法和优化。在 进行 Linpack 测试时，可选取不同的HPL 参数组合(比如：矩阵规模N，分块大小nb 等)， 进行 Linpack 测试时，可选取不同的HPL 参数组合(比如：矩阵规模N，分块大小nb 等)， 不同的BLAS 与MPI 库，不同的编译参数等进行调优，以得到较好的Linpack 性能。 不同的BLAS 与MPI 库，不同的编译参数等进行调优，以得到较好的Linpack 性能。 2. HPL 2. HPL 软件包在 NVIDIA GPU 上移植和优化 由于 由于HPL 软件包实现了较多的功能和优化，所以在NVIDIA GPU 上的Linpack 测试也以 此为基础，进行移植和优化。本文介绍的 此为基础，进行移植和优化。本文介绍的HPL 软件包的移植与实现方式，主要参考了Fatica[3] 的利用 的利用NVIDIA GPU 加速Linpack 的工作。 文献 文献[4]中对于HPL 软件包在Linpack 测试时各个函数的运行时间进行了统计和分析， 发现 发现 dgemm 函数的执行时间占到了大部分(约90%左右)，其次是 dtrsm 函数。所以，我们的 基本思想是关注利用 基本思想是关注利用GPU 加速 dgemm 与 dtrsm 函数。同时，此种方式也使代码的改动量较小。 具体如下： 具体如下： CPU CPU 与 GPU 混合的 dgemm 实现 CPU 与GPU 混合的dgemm CPU 与GPU 混合的dgemm 实现，就是将矩阵乘法中的一部分放到GPU 上进行，调用 NVIDIA CUBLAS CUBLAS 中的dgemm 函数;同时，另一部分调用CPU 上BLAS 库中的dgemm 函数，比如Intel MKL， AMD AMD ACML，GotoBLAS 等。使得CPU 与 CPU 可以同时进行计算。 矩阵的划分如图1所示，分成了图1中左(竖切B)和右(横切A)两种情况。原因是在HPL 矩阵的划分如图1所示，分成了图1中左(竖切B)和右(横切A)两种情况。原因是在HPL 调用中，矩阵乘法的参数M,N,K 存在两种情况，一个是K 较小，M 与 N 较大，如图1左的情 调用中，矩阵乘法的参数M,N,K 存在两种情况，一个是K 较小，M 与 N 较大，如图1左的情 况，此时划分矩阵 况，此时划分矩阵 B 会得到较好的性能;另一种是K 与 N 相等并较小，而 M 相对较大，如图1 右，此时划分矩阵A 会得到较好的性能。 右，此时划分矩阵A 会得到较好的性能。 通过调节比例因子R，可以达到CPU 与 GPU 间负载的均衡。最佳的情况是，CPU 上的计 通过调节比例因子R，可以达到CPU 与 GPU 间负载的均衡。最佳的情况是，CPU 上的计 算时间=数据从CPU 到 GPU 的传输时间+GPU 计算时间+结果从GPU 传回CPU 的传输时间。最 算时间=数据从CPU 到 GPU 的传输时间+GPU 计算时间+结果从GPU 传回CPU 的传输时间。最 佳的比例因子R 可以通过多次的实验获得。 佳的比例因子R 可以通过多次的实验获得。