并行编程原理及程序设计.ppt

机群应用开发并行编程原理及程序设计Parallel Programming: Fundamentals and Implementation 国家智能计算机研究开发中心国家高性能计算中心(北京)2003.1 参考文献 黄铠,徐志伟著,陆鑫达等译. 可扩展并行计算技术,结构与编程. 北京:机械工业出版社, P.33~56,P.227~237, 2000. 陈国良著.并行计算—结构、算法、编程. 北京:高等教育出版社,1999. Barry Wilkinson and Michael Allen. Parallel Programming(Techniques and Applications using Networked Workstations and Parallel Computers). Prentice Hall, 1999. 李晓梅,莫则尧等著. 可扩展并行算法的设计与分析. 北京:国防工业出版社,2000. 张宝琳,谷同祥等著. 数值并行计算原理与方法. 北京:国防工业出版社,1999. 都志辉著. 高性能计算并行编程技术—MPI并行程序设计. 北京:清华大学出版社, 2001. 相关网址 MPI: ， /mpi Pthreads: PVM: /pvm/ OpemMP: 网上搜索: MPI并行程序设计 Parallel Programming with the Massage Passing Interface (MPI) 讲座内容提示 基本的MPI 基本概念 点到点通信(Point to point) MPI中API的主要内容，为MPI最基本，最重要的内容 MPI程序的编译和运行 深入MPI 用户自定义(/派生)数据类型(User-defined(Derived) data type) 事实上MPI的所有数据类型均为MPI自定义类型 支持异构系统 允许消息来自不连续的或类型不一致的存储区(结构,数组散元) 集合通信(Collective) 数据移动，数据聚集，同步 基于point to point 构建 MPI环境管理函数 组,上下文和通信空间/通信子的管理 实例 MPI数据类型 …… if (my_rank != 0) { /*建立消息*/ sprintf(message, Greetings from process %d!,my_rank); /* 发送长度取strlen(message)+1,使\0也一同发送出去*/ MPI_Send(message,strlen(message)+1, MPI_CHAR, 0,99,MPI_COMM_WORLD); } else { /* my_rank == 0 */ for (source = 1; source p; source++) { MPI_Recv(message, 100, MPI_CHAR, source, 99, MPI_COMM_WORLD,status); printf(“%s\n, message); } } /*关闭MPI,标志并行代码段的结束*/ MPI_Finalize(); } /* main */ 用户自定义数据类型/派生数据类型 目的 导构计算: 不同系统有不同的数据表示格式。MPI预先定义一些基本数据类型，在实现过程中在这些基本数据类型为桥梁进行转换。 派生数据类型:允许消息来自不连续的和类型不一致的存储区域，如数组散元与结构类型等的传送。 MPI中所有数据类型均为MPI自定义类型 基本数据类型,如MPI_INT,MPI_DOUBLE… 用户定义数据类型或派生数据类型. Derived Datatype(派生) 常用 MPI_Type_vector MPI_Type_indexed 用MPI_Vector进行矩阵的行列置换 以C语言的数组表示为例：将矩阵的一列送到另一数组的一行中 MPI_Vector函数原型 MPI_Vector()函数首先通过连续复制若干个旧数据类型形成一个“块”，然后通过等间隔地复制该块儿形成新的数据类型。块与块之间的空间时旧数据类型的倍数。 #include mpi.h int MPI_Type_vector ( int count, /*数据块个数 (非负整数)*/ int blocklen, /*块中元素个数 (非负整数)*/ int stride, /*块间起始地址间隔 (非负整数)*/ MPI_Datatype old_type, /*原始数据类型(句柄)*/