消息传递并行编程环境MPI.docVIP

国家973项目高性能计算环境支持讲座 MPI与PETSc 日期 内容 8．15 上午 进程与消息传递、 MPI应用现状、 MPI并行程序设计入门、 初步的MPI消息传递函数 下午 作业一、讨论 8．16 上午 作业一讲评、 先进的MPI函数、 并行程序示例2、 MPI的发展 下午 作业二、讨论 8．17 上午 作业二讲评、 并行可扩展科学计算工具箱PETSc介绍 下午 PETSc程序示例 个人介绍 莫则尧，男，汉族，1971年7月生，副研究员： 1992年国防科技大学应用数学专业本科毕业； 1997年国防科技大学计算机应用专业并行算法方向博士毕业； 1999年北京应用物理与计算数学数学博士后流动站出站，并留所工作； 主要从事大规模科学与工程并行计算研究。 消息传递并行编程环境MPI 进程与消息传递 MPI环境的应用现状 MPI并行程序设计入门（程序例1） 初步的MPI消息传递函数 作业一 先进的MPI函数 MPI并行程序示例2（求解-(u=f）； MPI环境的发展 作业二 一、进程与消息传递 1．单个进程（process） 进程是一个程序，同时包含它的执行环境（内存、寄存器、程序计数器等），是操作系统中独立存在的可执行的基本程序单位； 通俗理解：串行应用程序编译形成的可执行代码，分为“指令”和“数据”两个部分，并在程序执行时“独立地申请和占有”内存空间，且所有计算均局限于该内存空间。 2．单机内多个进程： 多个进程可以同时存在于单机内同一操作系统：由操作系统负责调度分时共享处理机资源（CPU、内存、存储、外设等）； 进程间相互独立（内存空间不相交）：在操作系统调度下各自独立地运行，例如多个串行应用程序在同一台计算机中运行； 进程间可以相互交换信息：例如数据交换、同步等待，消息是这些交换信息的基本单位，消息传递是指这些信息在进程间的相互交换，是实现进程间通信的唯一方式； 最基本的消息传递操作：发送消息（send）、接受消息（receive）、进程同步（barrier）、规约（reduction）； 消息传递的实现：共享内存或信号量，用户不必关心； 进程1 进程2 发送数据 接收数据 （消息传递） 内存空间 3．包含于通过网络联接的不同计算机的多个进程： 进程独立存在：进程位于不同的计算机，由各自独立的操作系统调度，享有独立的CPU和内存资源； 进程间相互信息交换：消息传递； 消息传递的实现：基于网络socket机制,用户不必关心； 4．消息传递库函数: 应用程序接口（API）：提供给应用程序（FORTRAN、C、C++语言）的可直接调用的完成进程间消息传递的某项特定功能的函数； 消息传递库：所有定义的消息传递函数编译形成的软件库，调用其内部函数的应用程序，通过与之联接，即可成为可并行执行的程序； 目前流行的消息传递函数库：PVM 3.3.11、MPICH 1.2、LAMMPI 6.4等； 5．标准消息传递界面（MPI：Message Passing Interface）： MPI标准：根据应用程序对消息传递功能的需求，全球工业、应用和研究部门联合推出标准的消息传递界面函数，不考虑其具体实现，以保证并行应用程序的可移植性； MPI的具体实现：消息传递库函数，目前有影响的为MPICH和LAMMPI，我们注重MPICH系列； 6．基于消息传递的并行程序执行模式： SPMD模式：单程序多数据流 可执行代码 运行 MPMD模式：多程序多数据流，除初始启动多个可执行代码，其余与SPMD模式一致； 7．共享存储与分布式存储： 属于并行机体系结构的范畴，与消息传递并行程序设计平台无关； 节点 分布式存储 共享存储 消息传递是相对于进程间通信方式而言的，与具体并行机存储模式无关，任何支持进程间通信的并行机，均可支持消息传递并行程序设计； 几乎所有共享和分布存储并行计算环境均支持进程间的消息传递通信； 二、MPI环境的应用现状 MPI（消息传递