10基于消息传递的并行计算_MPI.ppt

并行计算Parallel Computing 基于消息传递的并行计算 Outline 基于消息传递的并行计算关键问题 消息传递库 消息传递方式 两种最为常用的消息传递并行环境 PVM MPI 补充：RSH与SSH原理 Outline 基于消息传递的并行计算关键问题 消息传递库 消息传递方式 两种最为常用的消息传递并行环境 PVM MPI 补充：RSH与SSH原理 并行语言实现方式与难度 消息传递库 在当前所有的消息传递软件中, 最重要最流行的是MPI和PVM, 它们能运行在所有的并行平台上, 包括SMP和PVP. 二者已经在Windows 和各种Unix平台上实现. 程序设计语言支持C, Fortran. 在国产的三大并行机系列神威、银河和曙光上都实现了对MPI和PVM和支持. 消息传递库——PVM 开发时间: 始于1989年 开发单位: 美国Tennessee大学、Oak Ridge国家实验室和Emory大学联合研制 特点: 具有较好的适应性、可扩展性、可移植性和易使用性等特点, 源代码可以免费获取, 现已被用户广泛采纳. 现状: 目前对它的研究和开发工作仍在各大学和研究机构进行. 尽管已经有越来越多的人开始使用MPI, 但PVM仍然是做并行处理最流行的软件之一. 随着它的不断流行, 已经被移植到PVP, SMP, MPP, 工作站和PC组成的机群系统. 消息传递库——MPI 消息传递库——MPI MPI的实现 建立在厂家专用的环境之上 IBM SP2的POE/MPL, Intel Paragon的OSF/Nx 公共的MPI环境: CHIMP Edinburg 大学 LAM(Local Area Multicomputer) Ohio超级计算中心 MPICH Argonne国家实验室与Mississippi州立大学 MPICH是MPI在各种机器上的可移植实现,可以安装在几乎所有的平台上: PC 工作站 SMP MPP COW 消息传递模式（ Message-Passing Modes） 关于通信模式, 用户需要理解的有三个方面: 共有多少个进程? 进程间如何同步? 如何管理通信缓冲区? 现在的消息传递系统多使用三种通信模式: 同步的消息传递 (Synchronous Message Passing) 阻塞的消息传递 (Blocking Message Passing) 非阻塞的消息传递 (Nonblocking Message Passing) Synchronous Message Passing Blocking and Nonblocking Message Passing Blocking It has been used to describe routines that do not return until the transfer is completed. The routines are “blocked” from continuing. In that sense, the terms synchronous and blocking were synonymous. Non-blocking It has been used to describe routines that return whether or not the message had been received. Send Receive buffer Blocking Buffered Send/Receive Non-Blocking Message Passing It returns from the send or receive operation before it is semanticlly safe. They are generally accompanied by a check-status operation. One must be careful using non-blocking protocols since errors can result from unsafe access to data that being communicated. 非阻塞模式的安全 消息传递方式 消息传递方式 消息传递方式 消息传递的特点: 在消息传递模型中, 一个并行应用由一组进程组成, 每个进程的代码是本地的, 只能访问私有数据, 进程之间通过传递消息实现数据共享和进程