MPI编程初步.pdfVIP

并行编程初步并行编程初步 张丹丹张丹丹张丹丹张丹丹 上海超级计算中心上海超级计算中心 2011201120112011--3333--4444 提提 纲纲 •• 引言引言 •• 认识认识MPIMPI编程编程 •• MPIMPI编程简介编程简介 •••• 实例实例实例实例 并行计算机体系架构并行计算机体系架构 共享存储(Shared Memory) 并行计算机体系架构并行计算机体系架构 • 分布式存储（Distributed Memory） 并行计算机体系架构并行计算机体系架构 • 混合架构（Hybrid） 并行编程模型并行编程模型 •• 数据并行模型数据并行模型 相同的操作同时作用于不同的数据相同的操作同时作用于不同的数据 •• 共享变量模型共享变量模型 用共享变量实现并行进程间的通信用共享变量实现并行进程间的通信 •• 消息传递模型消息传递模型消息传递模型消息传递模型 在消息传递模型中，驻留在不同节点上的进程可以通过网络传递在消息传递模型中，驻留在不同节点上的进程可以通过网络传递 消息相互通信，实现进程之间的信息交换、协调步伐、控制执行消息相互通信，实现进程之间的信息交换、协调步伐、控制执行 等。等。 并行编程模型并行编程模型 特征 数据并行 共享变量 消息传递 典型代表 HPF OppenMP MPI，PVM 可移植性 SMP，DSM ， SMP，DSM 所有流行并行 MPPMPP 计算机计算机 并行粒度 进程级细粒度 线程级细粒度 进程级大粒度 并行操作方式并行操作方式 松散同步松散同步 异步异步 异步异步 数据存储模式 共享存储 共享存储 分布式存储 数据分配方式 半隐式 隐式 显示 学习入门难度 偏易 容易 较难 可扩展性 一般 较差 好 什么是什么是MPI?MPI? •• Massage Passing Interface:Massage Passing Interface:是消息传递函数库是消息传递函数库 的标准规范，由的标准规范，由MPIMPI论坛开发，支持论坛开发，支持FortranFortran和和 C/C++C/C++C/C++C/C++，，，， –– 一种新的库描述，不是一种语言一种新的库描述，不是一种语言 –– 共有上百个函数调用接口共有上百个函数调用接口共有上百个函数调用接口共有上百个函数调用接口，，在在在在FFFFororttttranran和和和和C/CC/CC/CC/C++++语言中语言中语言中语言中 可以直接对这些函数进行调用可以直接对这些函数进行调用 –– 是一种标准或规范，而不是特指某一个对它的具体实现是一种标准或规范，而不是特指某一个对它的具体实现 –– MPIMPI是一种消息