并行计算6.ppt

* 共享变量（Shared Variable） 概况： PVP, SMP, DSM的自然模型 特点： 多线程：SPMD, MPMD 异步 单一地址空间 显式同步 隐式数据分布 隐式通信 * 消息传递（Message Passing） 概况： MPP, COW的自然模型 特点： 多线程 异步 多地址空间 显式同步 显式数据映射和负载分配 显式通信 * 消息传递编程：MPI并行程序设计 MPI是目前最重要的并行编程工具，它具有移植性好、功能强大、效率高等多种优点，而且有多种不同免费、高效、实用的实现版本，几乎所有的并行计算机厂商都提供对它的支持，这是其他的并行编程环境所无法比拟的。 MPI(Message Passing Interface ) MPI是一个库，而不是一门语言； MPI是一种标准或规范的代表，而不特指某一个对它的具体实现； MPI是一种消息传递编程模型，并成为这种编程模型的代表和事实上的标准； * * * * * * 并行计算——结构?算法?编程 主讲:雷向东 中南大学 信息科学与工程学院 Central South University School of Information Science and Engineering * 并行程序设计难的原因 技术先行,缺乏理论指导 程序的语法/语义复杂, 需要用户自已处理 任务/数据的划分/分配 数据交换 同步和互斥 性能平衡 并行语言缺乏代可扩展和异构可扩展, 程序移植困难, 重写代码难度太大 环境和工具缺乏较长的生长期, 缺乏代可扩展和异构可扩展 第六章 并行程序设计方法 * 并行语言的构造方法 串行代码段 for ( i= 0; iN; i++ ) A[i]=b[i]*b[i+1]; for (i= 0; iN; i++) c[i]=A[i]+A[i+1]; (a) 使用库例程构造并行程序 id=my_process_id(); p=number_of_processes(); for ( i= id; iN; i=i+p) A[i]=b[i]*b[i+1]; barrier(); for (i= id; iN; i=i+p) c[i]=A[i]+A[i+1]; 例子: MPI,PVM, Pthreads (b) 扩展串行语言 my_process_id,number_of_processes(), and barrier() A(0:N-1)=b(0:N-1)*b(1:N) c=A(0:N-1)+A(1:N) 例子: Fortran 90 (c) 加编译注释构造并行程序的方法 #pragma parallel #pragma shared(A,b,c) #pragma local(i) { # pragma pfor iterate(i=0;N;1) for (i=0;iN;i++) A[i]=b[i]*b[i+1]; # pragma synchronize # pragma pfor iterate (i=0; N; 1) for (i=0;iN;i++)c[i]=A[i]+A[i+1]; } 例子：SGI power C * 三种并行语言构造方法比较 * 并行性问题 3.1 进程的同构性 SIMD: 所有进程在同一时间执行相同的指令 MIMD:各个进程在同一时间可以执行不同的指令 SPMD: 各个进程是同构的，多个进程对不同的数据执行相同的代码(一般是数据并行的同义语) 常对应并行循环，数据并行结构，单代码 MPMD:各个进程是异构的， 多个进程执行不同的代码（一般是任务并行，或功能并行，或控制并行的同义语） 常对应并行块，多代码 要为有10000个处理器的计算机编写一个完全异构的并行程序是很困难的 * 并行块 parbegin S1 S2 S3 …….Sn parend S1 S2 S3 …….Sn可以是不同的代码 并行循环: 当并行块中所有进程共享相同代码时 parbegin S1 S2 S3 …….Sn parend S1 S2 S3 …….Sn是相同代码 简化为 parfor (i=1; i=n, i++) S(i) 并行性问题 * 用单代码方法说明SPMD 要说明以下SPMD程序: parfor (i=0; i=N, i++) foo(i) 用户需写一个以下程序: pid=my_process_id(); numproc=number_of _processes(); parfor (i=pid; i=N, i=i+numproc) foo(i) 此程序经编译后生成可执行程序A, 用shell脚本将它加载到N个处理结点上: run A –