第六讲矩阵计算并行算法详解.pdfVIP

第六讲 矩阵计算并行算法 1 主要内容 并行算法基础知识 矩阵向量乘积的并行算法 矩阵矩阵乘积的并行算法 矩阵的LU 分解并行算法 下三角线性方程组的并行算法 2 并行算法基础知识 一些基本概念 加速比 其中T 串行程序运行时间，T (q) 为q 个进程的运行时间 s p 并行效率 3 程序性能优化 串行程序性能优化—— 并行程序性能优化的基础 调用高性能库。如：BLAS、LAPACK、FFTW 选择编译器优化选项：-O2、-O3 合理定义数组维数 注意嵌套循环次数：数据访问的空间局部性和时间局部性 循环展开 例: ex4performance.c 数据分块 4 程序性能优化 并行程序性能优化 设计好的并行算法和通信模式 减少通信次数、提高通信粒度 多进程通信时尽量使用高效率的聚合通信算法 负载平衡 减少进程的空闲时间 通信与计算的重叠 通过引入重复计算来减少通信 5 矩阵并行算法 一些记号和假定 假设有p 个处理器，每个处理器上运行一个进程 Pj 表示第j 个处理器，Pmyid 表示当前的处理器 send(x ;j )表示在P 中把数据块x 发送给P 进程 myid j recv(x ;j )表示从P 进程接收数据块x j i modp 表示i 对p 取模运算 程序设计与机器实现是密不可分的，计算结果的好坏与编 程技术有很大的关系，尤其是在并行计算机环境下，开发 高质量的程序对发挥计算机的性能起着至关重要的作用 6 主要内容 并行算法基础知识 矩阵向量乘积的并行算法 矩阵矩阵乘积的并行算法 矩阵的LU 分解并行算法 下三角线性方程组的并行算法 7 矩阵向量乘积 y Ax A ∈m×n , x ∈n 串行算法 实现方法一：i-j循环 for i=1 to m y(i)=0.0 for j=1 to n y(i)=y(i)+A(i,j)*x(j) end for end for 8 矩阵向量乘积 串行算法 实现方法二：j-i 循环 y=0 % 先赋初值 for j=1 to n for i=1 to