【PPT】-第十四章分布存储系统并行编程.ppt

第十四章 分布存储系统并行编程;分布存储系统并行编程;基于消息传递的并行编程;1 消息传递库(Message-Passing Libraries);CMMD: 是一个用于Thinking Machines CM-5系统的消息传递库, 其特点是基于主动消息(Active Message)机制在用户空间实现通信以减少通信延迟; Express: 是一个支持点到点和群集通信以及并行I/O的程序设计环境; Nx: 是为Intel MPP(例如, Hypercubes和 Paragon)开发的微核系统. 现在已由用于Intel/Sandia ASCI TFLOPS 系统中的新的微核系统PUMA代替. Fortran-M: 是对Fortran77的扩展, 它在设计上既支持共享存储也支持消息传递, 但当前只实现了对消息传递的支持. 该语言提供了许多机制用于支持开发行为确定、模块化的并行程序. P4(Parallel Programs for Parallel Processors) : 是一组宏和子程序, 用于支持共享存储和消息传递系统中的程序设计, 它可以移植到许多体系结构上. 其它的消息传递软件系统还有Vertex, PARMACS, Zipcode, UNIFY和PICL等. ;在当??所有的消息传递软件中, 最重要最流行的是MPI和PVM, 它们能运行在所有的并行平台上, 包括SMP和PVP. 二者已经在Windows NT 和Windows 95这样的非Unix平台上实现. 程序设计语言支持C, Fortran和Java. 在国产的三大并行机系列神威、银河和曙光上都实现了对MPI和PVM和支持.;1.1 MPI(Message Passing Interface) 简介;MPI的实现 建立在厂家专用的环境之上 IBM SP2的POE/MPL, Intel Paragon的OSF/Nx 公共的MPI环境: CHIMP Edinburg 大学 LAN(Local Area Multicomputer) Ohio超级计算中心 MPICH Argonne国家实验室与Mississippi州立大学 MPICH是MPI在各种机器上的可移植实现,可以安装在几乎所有的平台上: PC 工作站 SMP MPP COW;1.2 PVM(Parallel Virtual Machine) 简介 开发时间: 始于1989年 开发单位: 美国Tennessee大学、Oak Ridge国家实验室和Emory大学联合研制 特点: 具有较好的适应性、可扩展性、可移植性和易使用性等特点, 源代码可以免费获取, 现已被用户广泛采纳. 现状: 目前对它的研究和开发工作仍在各大学和研究机构进行. 尽管已经有越来越多的人开始使用MPI, 但PVM仍然是做并行处理最流行的软件之一. 随着它的不断流行, 已经被移植到PVP, SMP, MPP, 工作站和PC组成的机群系统. ;PVM和MPI间的主要差别: (1)PVM是一个自包含的系统, 而MPI不是. MPI依赖于支持它的平台提供对进程的管理和I/O功能. 而PVM本身就包含这些功能. (2) MPI对消息传递提供了更强大的支持. (3) PVM不是一个标准, 这就意味着PVM可以更方便、更频繁地进行版本更新. MPI和PVM在功能上现在正趋于相互包含. 例如, MPI-2增加了进程管理功能, 而现在的PVM也提供了更多的群集通信函数. 与MPI不同的是, ;1.2 Message-Passing Modes;发送例程;Process P: M=10; L1: send M to Q; L2: M=20; goto L1;;三种通信模式的比较;Process P: M=10; send M to Q; do some computation which does not change M; wait for M to be sent; M=20;;消息传递的特点: 在消息传递模型中, 一个并行应用由一组进程组成, 每个进程的代码是本地的, 只能访问私有数据, 进程之间通过传递消息实现数据共享和进程同步. 优点: 用户可以对并行性的开发、数据分布和通信实现完全控制. 缺点: 要求程序员显式地处理通信问题, 如, 消息传递调用的位置, 数据移动, 数据复制, 数据操作, 数据的一致性等等. 对大多数科学计算程序来说, 消息传递模型的真正困难还在于显式的域分