第12章：并行程序设的计基础.pptVIP

十二、并行程序设计基础;并行程序设计基础;并行程序设计概述;1 并行程序设计难的原因;2 并行语言的构造方法;;3 并行性问题;并行块 parbegin S1 S2 S3 …….Sn parend S1 S2 S3 …….Sn可以是不同的代码 并行循环: 当并行块中所有进程共享相同代码时 parbegin S1 S2 S3 …….Sn parend S1 S2 S3 …….Sn是相同代码 简化为 parfor (i=1; i=n, i++) S(i);用单代码方法说明SPMD 要说明以下SPMD程序: parfor (i=0; i=N, i++) foo(i) 用户需写一个以下程序: pid=my_process_id(); numproc=number_of _processes(); parfor (i=pid; i=N, i=i+numproc) foo(i) 此程序经编译后生成可执行程序A, 用shell脚本将它加载到N个处理结点上: run A –numnodes N;用SPMD伪造MPMD 要说明以下MPMD程序: parbegin S1 S2 S3 parend 可以用以下SPMD程序: parfor (i=0; i3, i++) { if (i=0) S1 if (i=1) S2 if (i=2) S3 } 因此, 对于可扩展并行机来说, 只要支持SPMD就足够了;3.2 静态和动态并行性 程序的结构: 由它的组成部分构成程序的方法;Process A: begin Z:=1 fork(B); T:=foo(3); end;3.3 进程编组 目的:支持进程间的交互,常把需要交互的进程调度在同一组中 一个进程组成员由：组标识符+ 成员序号 唯一确定. 3.4 划分与分配 原则: 使系统大部分时间忙于计算, 而不是闲置或忙于交互; 同时不牺牲并行性(度). 划分: 切割数据和工作负载 分配：将划分好的数据和工作负载映射到计算结点(处理器)上 分配方式 显式分配: 由用户指定数据和负载如何加载 隐式分配：由编译器和运行时支持系统决定 就近分配原则：进程所需的数据靠近使用它的进程代码;并行度(Degree of Parallelism, DOP):同时执行的分进程数. 并行粒度(Granularity): 两次并行或交互操作之间所执行的计算负载. 指令级并行 块级并行 进程级并行 任务级并行 并行度与并行粒度大小常互为倒数: 增大粒度会减小并行度. 增加并行度会增加系统(同步)开销 ;4 交互／通信问题;同步：导致进程间相互等待或继续执行的操作 同步方式: 原子同步 控制同步(路障,临界区) 数据同步(锁,条件临界区,监控程序,事件);聚集(aggregation)：用一串超步将各分进程计算所得的部分结果合并为一个完整的结果, 每个超步??含一个短的计算和一个简单的通信或/和同步. 聚集方式: 归约 扫描;4.2 交互的方式;交互方式与入口/出口条件的组合;4.3 交互的模式 按交互模式是否能在编译时确定分为: 静态的 动态的 按有多少发送者和接收者参与通信分为 一对一:点到点(point to point) 一对多:广播(broadcast),播撒(scatter) 多对一:收集(gather), 归约(reduce) 多对多:全交换(Tatal Exchange), 扫描(scan) , 置换/移位(permutation/shift);1 ;1 ;相并行（Phase Parallel） 分治并行（Divide and Conquer Parallel） 流水线并行（Pipeline Parallel） 主从并行（Master-Slave Parallel） 工作池并行（Work Pool Parallel）;相并行（Phase Parallel）;主－从并行（Master-Slave Parallel）;分治并行（Divide and Conquer Parallel）;流水线并行（Pipeline Parallel）;工作池并行（Work Pool Parallel）;8 计算圆周率的样本程序;计算圆周率的c语言代码段;并行程序设计基础;进程;并行程序设计基础;线程;并行程序设计基础;同步;并行程序设计基础;通信;并行程序设计基础;并行程序设计模型;并行程序设计模型;隐式并行（Implicit Parallel）;数据并行（Data Parallel）;共享变量（Shared Variable）;消息传递（Message Passing）