并行程序设计Chapter-3H.pptVIP

第三章 消息传递程序设计MPI;从程序员视角看，并行体系结构主要分为两类： 共享存储(shared-memory)系统 典型平台： - 基于多核处理器的计算机 - SMP及NUMA体系结构计算机 ② 消息传递(message-passing)系统 - 机群系统;几种主流的并行编程接口; 本章内容3.1 MPI并行环境简介3.2 点到点通信3.3 组和通信子3.4 集合通信3.5 MPI与多线程;3.1 MPI并行环境简介;3.1 MPI并行环境简介;3.1 MPI并行环境简介;3.1 MPI并行环境简介;3.1 MPI并行环境简介;3.1 MPI并行环境简介;用vi修改.bash_profile文件;3.1 MPI并行环境简介;3.1 MPI并行环境简介;3.1 MPI并行环境简介;3.1 MPI并行环境简介;3.1 MPI并行环境简介;3.1 MPI并行环境简介;3.1 MPI并行环境简介;3.2 点到点通信;3.2 点到点通信;3.2 点到点通信;二、标准发送和接收 标准发送和接收是阻塞式(blocking)的 直到传输在本地完成(locally complete)后，发送/接收函数才返回 本地完成与全局完成 本地完成(locally complete) ：在本地进程中执行的传输工作已经完成 全局完成(globally complete)：整个传输已经完成;3.2 点到点通信;二、标准发送和接收;3.2 点到点通信;3.2 点到点通信;3.2 点到点通信;3.2 点到点通信;3.2 点到点通信;3.2 点到点通信;3.2 点到点通信;3.2 点到点通信;七、非阻塞式通信 MPI中消息传递时延较大，对程序性能影响很大 将通信和计算重叠可以在很大程度上隐藏通信时延 方法一：多线程线程通信等待期间，处理器可切换至其他线程 方法二：非阻塞式通信进程通信期间不阻塞，而是进行其他计算;3.2 点到点通信;3.2 点到点通信;3.2 点到点通信;3.2 点到点通信;3.2 点到点通信;3.2 点到点通信;3.3 集合通信;3.3 集合通信;二、规约(reduce) 将组内数据进行某种规约后，结果保存在根进程(root);3.3 集合通信;统计3的个数;3.3 集合通信;3.3 集合通信;CPI程序: 计算圆周率PI;五、数据分发 MPI_Scatter()从根进程分发数据到组内所有进程;六、数据收集 MPI_Gather()是MPI_Scatter()的逆操作 根进程从组内所有进程收集数据，依次放入自己的接收缓冲区;3.3 集合通信;3.4 组和通信子;3.4 组和通信子;3.4 组和通信子;3.4 组和通信子;3.4 组和通信子;3.4 组和通信??;3.5 MPI与多线程;3.5 MPI与多线程;3.5 MPI与多线程