高性能计算和高性能计算机.pptVIP

高性能计算和高性能计算机 赵崇山 2007-08-10 目 录 并行计算概要 高性能计算机体系结构 并行编程简介 高性能计算机群 并行计算的应用模式 计算是认识世界的主要手段 并行计算的功能 降低单个问题求解的时间 增加问题求解规模、提高问题求解精度 (多机同时执行多个串行程序)容错、更高的可用性、提高吞吐率 并行计算的应用需求 并行化的主要方法:分而治之 根据问题的求解过程，把任务分成若干子任务(任务级并行或功能并行) 根据处理数据的方式，形成多个相对独立的数据区，由不同的处理器分别处理(数据并行) 如何实现并行计算? 目 录 并行计算概要 高性能计算机体系结构 并行编程简介 高性能计算机群 并行计算的应用模式 定义：并行计算机 衡量并行计算机的标准 TOP500排名标准依据Linpack软件实际测试值所表现出来的浮点计算能力 超级计算机总装机量排名 并行计算机系统结构 Flynn分类： SISD, SIMD, MIMD, MISD 结构模型： PVP, SMP, MPP, DSM, COW 访存模型： UMA, NUMA, COMA, CC-NUMA, NORMA Flynn分类 并行计算机体系结构分类 分布共享存储系统(DSM) 通过硬件来实现内存统一编址的超级计算机 SGI Altix 4000系列和Origin 3000系列 大规模并行计算机系统(MPP) 采用专用定制的网络连接或结构的超级计算机 Cray “红色风暴” ，IBM SP4 ，IBM “蓝色基因” 机群系统(Cluster) 通过定制/标准网络连接的超级计算机 曙光TC4000系列，联想深腾6800 体系结构模型分类 对称多处理机系统(SMP) 分布共享存储系统(DSM) DSM： 分布共享存储: 内存模块物理上局部于各个处理器内部,但逻辑上(用户)是共享存储的; 这种结构也称为基于Cache目录的非一致内存访问(CC-NUMA)结构;局部与远程内存访问的延迟和带宽不一致,3-10倍?高性能并行程序设计注意 与SMP的主要区别：DSM在物理上有分布在各个节点的局部内存从而形成一个共享的存储器 处理器: 可扩展性比较好 代表: SGI Origin 3000, Altix 4700 ， Cray T3D 大规模并行计算机系统(MPP) MPP 物理和逻辑上均是分布内存 能扩展至成百上千个处理器(微处理器或向量处理器) 采用高通信带宽和低延迟的互联网络 (专门设计和定制的) 一种异步的MIMD机器；程序系由多个进程组成，每个都有其私有地址空间，进程间采用传递消息相互作用； 代表: 曙光1000 ，神威机系列，CRAY T3E, ASCI Red(3072), IBM SP4, CRAY RedStorm，IBM Blue Gene 机群系统(Cluster) 访存模型分类 多处理机和多计算机 访存模型和体系结构对应 目 录 并行计算概要 高性能计算机体系结构 并行编程简介 高性能计算机群 并行计算的应用模式 并行程序开发环境 共享存储模型（Shared Memory） 消息传递模型（Message Passing） HPF（High Performance Fortran） 共享存储模型 特点： 一个并行程序由多个共享内存的并行任务组成，数据的交换通过隐含地使用共享数据来完成。 一般仅需指定可以并行执行的循环，而不需考虑计算与数据如何划分，以及如何进行任务间通信，编译器会自动完成上述功能。 OpenMP： 目前流行的共享内存模型开发标准是OpenMP。 OpenMP定义了一套编译指导语句，用于指定程序的并行性、数据的共享/私有等信息。其目标是为SMP系统提供可移植、可扩展的开发接口。 OpenMP由OpenMP Architecture Review Board于1997年推出，现在已发展到2.0版。OpenMP支持的编程语言包括Fortran、C和C++。 OpenMP得到了工业界的广泛支持，有大量的商业编译器和其他开发工具支持OpenMP的开发，如IBM、HP、Sun、SGI、Intel等硬件厂商均有支持OpenMP的编译器产品，另外还有一些第三方厂商的OpenMP编译器。 消息传递模型 特点： 一个并行程序由多个并行任务组成 每个并行任务拥有自己的数据并对其进行计算操作 任务之间数据的交换是通过显式的消息传递语句来完成的 现在广泛使用的消息传递模型有两个：PVM和MPI PVM即Parallel Virtual Machine(并行虚拟机) MPI即Message Passing Interface(消息传递界面) 几乎所有的高性能计算系统都支持PVM和MPI HPF HPF(High Performance Fort