MPI并行程序设计详解.pdfVIP

Parallel Programing with MPI Binding with Fortran, C,C++ KONG,Tao School of Mathematics Shandong University 2010/10/11 KONG,Tao Maths. S.D.U. 1 目彔 • 并行简介 • MPI概述 • 消息传递 • MPI程序结构 • 传递成功 • 点对点通信 • 群集通信 • MPI扩展 KONG,Tao Maths. S.D.U. 2 并行简介 • 何谓并行 • 如何创建并行程序 • 并行结构 • 并行编程模型 KONG,Tao Maths. S.D.U. 3 何谓并行 • 多个线程同时迚行工作。 • 就像电路的并联可以起到分流的作用一样。当 你遇到下面的问题时可以考虑使用并行 - 降低解决问题的运行时间 - 增大要解决的问题的尺度 KONG,Tao Maths. S.D.U. 4 如何创建并行程序 • 把要解决的问题分解到一些子任务 – 理想的状态是各个子任务可以互不影响的工作 • 把这些任务映射到不同的进程 • 进程有共享或本地数据 – 共享：被多于一个线程使用 – 本地：对每个进程私有 • 利用一些并行编程环境写源码 KONG,Tao Maths. S.D.U. 5 并行结构 • 分布存储 – 每个处理器使用本地存储 – 不能直接访问其他处理器的内存 • 共享存储 – 处理器可以直接访问属于其他处理器的存储空间 – 不同的处理器可以在同一个内存总线上 • 混合存储 KONG,Tao Maths. S.D.U. 6 并行编程模型 • 分布存储系统 – 处理器之间为了共享数据，必须由程序员显式的安排 如何通信—所谓“消息传递” – 消息传递的库 • MPI （Message Passing Interface） • PVM （Parallel Virtual Machine） • 共享存储系统 – 基于“进程”的编程。不同进程可以指定拥有共同的 存储空间 – 当然也可以显示的指定消息传递。 KONG,Tao Maths. S.D.U. 7 MPI • 什么是MPI – Message Passing Interface – MPI不是一种语言，他只是一个库，是通过绑定到Fortran， C ，C++来实现的 – 所有的并行操作均是通过调用预定义的一些方法来实现的。 这些方法均是一些函数。对于C++ ，引入面向对象机制，把 这些函数抽象成类和对象来实现。 – 这些预定的操作定义在 • C/C++: Mpi.h • Fortran: Mpif.h, 或者使用模板 mpi(对于fortran90之后) • 实现软件 • MPICH • Open MPI