MPI-2011-03-02_880006259.pptVIP

计算科学与工程中的并行编程技术Parallel Programming Technology in Computational Science and Engineering  都志辉 清华大学计算机系 Email ：duzh@ Phone:/~duzh 关于作业 并行的好处 并行的开销（代价） 并行需要解决的主要问题 基本的MPI编程技术 主要内容 基本概念 基本通信语句 编程示例 第一部分 基本概念 关于并行程序 基本特点是什么？ 可以支持或者刻画并行/并发执行 并行程序是否一定需要并行机的支持才可以运行？ 可以模拟并行的结果（A=B） 串行程序如何并行执行？ 自动并行化（软件－编译器，硬件－CPU） 手工并行化改造－并行程序 串行和并行程序相互转换的基础 从应用的角度看效果相同 并行编程的必要性？ 自动并行的有限性（有限的性能，有限的范围） 单一硬件单元性能提高的有限性（物理极限） 多核发展趋势 并行需要解决的关键问题 通信 通信中断 通信的核心与枢纽地位 什么是SPMD程序 一个静态的源程序，描述各个进程的综合行为 多个动态的执行进程，只有在运行时才能表现出不同的行为 什么是MPI(Message Passing Interface) 通俗的说法：提供一个大任务各个子任务之间进行信息交流的方式和方法 专业的说法： 消息传递编程模型 消息传递编程标准 消息传递编程库 MPI的消息 作用 定义了MPI通信的方式与表示方法 有助于实现移植性 组成 消息信封 消息内容 MPI消息的目和源 目（Destination） 消息的接收者 源（Source） 消息的提供者 隐含目/源 组通信 MPI消息的标识TAG 作用 区别同一进程的不同消息 P36图18 隐含TAG 组通信，由通信语句的序列决定消息的匹配 消息内容 内容（data），在组通信中有变化形式 起始地址，数据个数，数据类型 必要？ 起始地址，长度？ MPI的数据类型 定义 一个或多个，相同或不同的基本数据类型，以连续或不连续的方式形成的一种排列 目的：移植，方便使用（抽象，不连续数据的传送） MPI是强数据类型的 整型与实型匹配？ MPI提供的三种通信方式 点到点通信（Point to Point） 有且仅有两方（发送方和接收方）参与 双方必须有匹配的消息信封和通信语句 组通信（Collective） 组内所有进程都参与才能完成 各进程的调用形式都相同 常见问题 有的调用，有的不调用（主进程广播，从进程没有广播） 广播语句和接收语句对应 调用参数不对 MPI的进程 MPI通信的对象 MPI并行的单位 MPI进程的标识 区别不同的进程 第二部分 基本的通信语句 注意的问题 语句对应（发与收必须一一对应） 数据类型匹配（严格匹配） 目和源要对应 发方＝接收方之源,收方＝发送方之目 TAG要匹配 必须匹配 接收语句的特殊性 MPI_ANY_SOURCE， MPI_ANY_TAG FORTRAN和C调用形式的不同 组内共有多少人？ 获取给定组的大小：MPI_COMM_SIZE(comm,size) 作用？ 编写通用的MPI程序 使程序适合不同个数的进程 第三部分 编程示例 运行结果 完全相同的语句，不同的执行结果 不同进程输出语句的次序是任意的 注意 C和FORTRAN调用形式的不同 大小写的不同 参数的不同 SPMD程序只需要一个源程序 SPMD程序是多进程并行执行 每个进程都执行相同源程序的语句 不同进程的执行结果是不同 if (my_id == 2) { idx = 1;#ifdef DEBUG fprintf(stdout, %d start recv from %d\n, my_id, idx); fflush(stdout);#endif MPI_Recv (r, 1, MPI_INT, idx, 0, MPI_COMM_WORLD, status ); fprintf(stdout, %d finished recv (%d) from %d\n, my_id, r, idx); fflush(stdout); }#ifdef DBUG  fprintf(stdout, %d Done ....\n,my_id); fflush(stdout);#endif  MPI_Finalize(); return 0;}/* A report was made that this program hung on a