并行程序设计基础.pptVIP

十二、并行程序设计基础 并行程序设计基础 ? ? ? ? ? ? 12.1 并行程序设计概述 12.2 进程 12.3 线程 12.4 同步 12.5 通信 12.6 并行程序设计模型 国家高性能计算中心（合肥） 2019/9/26 2 并行程序设计概述 1 2 3 4 5 6 并行程序设计难的原因 并行语言的构造方法 并行性问题 交互 / 通信问题 五种并行编程风范 计算圆周率的样本程序 国家高性能计算中心（合肥） 2019/9/26 3 1 并行程序设计难的原因 ? 技术先行 , 缺乏理论指导 ? 程序的语法 / 语义复杂 , 需要用户自已处理 ? 任务 / 数据的划分 / 分配 ? 数据交换 ? 同步和互斥 ? 性能平衡 ? 并行语言缺乏代可扩展和异构可扩展 , 程序移植困难 , 重写代码难度太大 ? 环境和工具缺乏较长的生长期 , 缺乏代可扩展和异构可 扩展 国家高性能计算中心（合肥） 2019/9/26 4 2 并行语言的构造方法 串行代码段 for ( i= 0; iN; i++ ) A[i]=b[i]*b[i+1]; for (i= 0; iN; i++) c[i]=A[i]+A[i+1]; (c) 加编译注释构造并行程序的方法 #pragma parallel #pragma shared(A,b,c) #pragma local(i) { # pragma pfor iterate(i=0;N;1) for (i=0;iN;i++) A[i]=b[i]*b[i+1]; # pragma synchronize # pragma pfor iterate (i=0; N; 1) for (i=0;iN;i++)c[i]=A[i]+A[i+1]; } 例子： SGI power C (a) 使用库例程构造并行程序 id=my_process_id(); p=number_of_processes(); for ( i= id; iN; i=i+p) A[i]=b[i]*b[i+1]; barrier(); for (i= id; iN; i=i+p) c[i]=A[i]+A[i+1]; 例子 : MPI,PVM, Pthreads (b) 扩展串行语言 my_process_id,number_of_processes(), and barrier() A(0:N-1)=b(0:N-1)*b(1:N) c=A(0:N-1)+A(1:N) 例子 : Fortran 90 国家高性能计算中心（合肥） 2019/9/26 5 2 并行语言的构造方法 三种并行语言构造方法比较 方法 库例程 实例 MPI, PVM 优点 缺点 易于实现 , 不需要新编 无 编 译 器 检 查 , 译器 分析和优化 扩展 Fortran90 允许编译器检查、 分析 实现困难 , 需要新 和优化 编译器 编译器注释 SGI powerC, HPF 介于库例程和扩展方法之间 , 在串行平台 上不起作用 . 国家高性能计算中心（合肥） 2019/9/26 6 3 并行性问题 3.1 进程的同构性 ? SIMD: 所有进程在同一时间执行相同的指令 ? MIMD: 各个进程在同一时间可以执行不同的指令 ? SPMD: 各个进程是同构的，多个进程对不同的数据执 行相同的代码 ( 一般是数据并行的同义语 ) 常对应并行循环，数据并行结构，单代码 ? MPMD: 各个进程是异构的， 多个进程执行不同的代码 （一般是任务并行，或功能并行，或控制并行的同义语） 常对应并行块，多代码 要为有 1000 个处理器的计算机编写一个完全异构的并行 程序是很困难的 国家高性能计算中心（合肥） 2019/9/26 7 进程的同构性 3 并行性问题 并行块 parbegin S1 S2 S3 …….Sn parend S1 S2 S3 …….Sn 可以是不同的代码 并行循环 : 当并行块中所有进程共享相同代码时 parbegin S1 S2 S3 …….Sn parend S1 S2 S3 …….Sn 是相同代码 简化为 parfor (i=1; i=n, i++) S(i) 国家高性能计算中心（