并行计算.pptVIP

现代密码学理论与实践之五 并 行 计 算 中国科学技术大学计算机科学与技术系 国家高性能计算中心(合肥) 2003年9月 第四篇 并行程序设计 第十二章 并行程序设计基础 第十三章 共享存储系统并行编程 第十四章 分布存储系统并行编程 第十五章 并行程序设计环境与工具  第十四章 分布存储系统并行编程 14.1 基于消息传递的并行编程 14.2 MPI并行编程 14.3 PVM并行编程 14.4 基于数据并行的并行编程 14.5 HPF并行编程 SPMD和MPMD SIMD: 所有进程在同一时间执行相同的指令 MIMD:各个进程在同一时间可以执行不同的指令 SPMD: 各个进程是同构的，多个进程对不同的数据执行相同的代码(一般是数据并行的同义语) 常对应并行循环，数据并行结构，单代码 MPMD:各个进程是异构的， 多个进程执行不同的代码（一般是任务并行，或功能并行，或控制并行的同义语） 常对应并行块，多代码 并行块与并行循环 并行块 parbegin S1 S2 S3 …….Sn parend S1 S2 S3 …….Sn可以是不同的代码 并行循环: 当并行块中所有进程共享相同代码时 parbegin S1 S2 S3 …….Sn parend S1 S2 S3 …….Sn是相