OpenMP并行编程（一）.PDFVIP

OpenMP 并行编程 （一） —— 并行编程介绍 —— 并行域与工作共享 1 内容提要 并行编程 OpenMP 简介 OpenMP 编译制导 OpenMP 库函数 OpenMP 环境变量 OpenMP 示例 2 并行程序设计模型 并行程序设计模型 隐式并行（Implicit Parallel） 数据并行（Data Parallel） 共享变量（Shared Variable） 消息传递（Message Passing） 3 隐式并行 隐式并行 编写串行程序 通过编译器和运行支持系统将串行程序自动并行化 特点：语义简单，可移植性好，易于调试和验证 缺点：细粒度并行，效率很低 4 数据并行 数据并行 SIMD （单指令流多数据流） 同一操作同时作用到一组数据上 特点：单线程，单一地址空间，编程简单， 松散同步，隐式交互，隐式数据分配 缺点：并行粒度局限于数据级并行，粒度小 典型代表：Fortran 90 ，HPF SIMD：Single Instruction Multiple Data 5 共享变量 共享变量 适用于SMP 和DSM 特点：松散同步，多线程（SPMD，MPMD） 单一地址空间，显式同步，隐式通信，隐式数据分布 典型代表：OpenMP，Pthreads SMP：Shared Memory Processors DSM ：Distributed Shared Memory SPMD ：Single Program Multiple Data MPMD ：Multiple Program Multiple data OpenMP ：Open Multi-Processing Pthreads ：POSIX threads 6 消息传递 消息传递 MPP 、COW 的自然模型 特点：异步并行，多线程，多地址空间， 显式同步，显式通信，显式数据映射和负载分配 典型代表：MPI ，PVM MPP ：Massively parallel processing COW：Cluster of Workstations MPI ：Message Passing Interface PVM ：Parallel Virtual Machine 7 并行编程模型 并行编程模型标准 数据并行：Fortran 90 ，HPF ；适用于SMP，DSM 共享内存：OpenMP，Pthreads ；适用于SMP，DSM 消息传递：MPI ，PVM ；适用于所有并行机 三者可混合使用 8 并行化方法 基本并行化方法