并行程序设计及ScaLapack函数库应用简介.pptVIP

SGEMV: y := alpha*A*x + beta*y, or y := alpha*A*x + beta*y, * PSGEMV—PBLAS子程序 Subroutine PSGEMV(Trans,M,N,A,IA,JA,DESCA,X,IX,JX,DESCX,INCX,BETA,Y,IY,JY,DESCY,INCY) * ASIPP * * 并行程序设计及ScaLAPACK函数库应用简介 报告人：罗正平 导师：肖炳甲研究员 * * 并行计算--高性能计算 并行计算（Parallel Computing） 是指在并行计算机上，将一个应用分解成多个子任务，分配给不同处理器，各个处理器之间相互协同，并行地执行子任务，从而达到加快求解的速度或提高求解应用问题规模的目的。 高性能计算（High Performance Computing，HPC) 超级计算（Super Computing） * * 为什么需要并行计算机 问题: 科学和工程问题的数值模拟与仿真 计算密集 数据密集 网络密集 三种混合 要求:在合理的时限内完成计算任务 秒级 制造业 分钟级 短时天气预报(当天) 小时级 中期天气预报(3~10日) 尽可能快 长期天气预报(气候) 可计算湍流模拟 * * 并行计算的基本条件 并行计算机 应用问题必须具有并行度 并行编程 * * 并行计算机 由多个计算单元组成，运算速度快、存储容量大、可靠性高的计算机系统。 也称巨型机或超级计算机。 Roadrunner 1.026PetaFlops * * 并行计算机体系结构 对称多处理机SMP（Symmetric Multiprocessor） 分布式共享存储并行计算机DSM（Distributed Shared Memory） 大规模并行计算机MPP（Massively Parallel Processing） * * 机群系统（cluster） 每个结点都是一个完整的计算机；每个结点包含数个微处理器，结点内部采取共享存储 各个结点之间由高性能互联网络链接 网络接口和I/O总线松耦合链接 每个结点都有完整的操作系统 * * IBM刀片机群（HS21） Cluster based on SMP -- MPP * * 并行程序开发策略 应用问题的并行度，也就是应用问题可以分解为多个可并行执行的子任务。 现有的串行源代码 有目的稍许修改源代码 自动并行化 并行应用程序 (a)自动并行化 现有的串行源代码 开发并行库 重新链接 并行应用程序 (b)并行库 现有的串行源代码 作重大修改 编译器支持并行化 并行应用程序 (c)重新编写并行代码 * * 并行程序设计 共享变量模型（Shared Variable） 消息传递模型（Message Passing） * * 共享变量（Shared Variable） OpenMP是基于线程的并行编程模型，使用Fork-Join并行执行模型。所有的OpenMP程序开始于一个单独的主线程，主线程串行执行直到遇到并行域才开始并行执行。 所有的OpenMP并行化，都是通过使用嵌入到C/C++或Fortran源代码中的编译制导语句来达到的。 Fork Join Fork Join 主线程 主线程 主线程 并行域 #include “omp.h” int main(int argc, char* argv[]) { int nthreads, tid; int nprocs; char buf[32]; /* Fork a team of threads */ # pragma omp parallel private(nthreds,tid) { /* Obtain and print thread id */ tid=omp_get_thread_num(); printf(“Hello World from OMP thread %d\n”,tid); /* Only master thread does this */ if(tip==0){ nthreads=omp_get_num_threads(); printf(“Number of threads %d\n”,nthreads); } } return 0; } * * 消息传递（Data Parallel） 基于MPI的并行程序，是有一个或多个彼此通过调用库函数进行消息收发通信的进程所组成。 绝大部分MPI实现中，一组固定的进程在程序初始化时生成，可以执行SPMD或MPMD模式。 Incl