技术资料：HPCC的理论知识(中科院的培训材料) 4.ppt

并行计算基础知识 并行计算基础知识 冯圣中 fsz@ncic.ac.cn 中国科学院计算技术研究所 国家智能计算机研究开发中心 国家高性能计算中心（北京） 主要内容 并行计算 并行计算系统基础 并行计算基本概念 几种典型的benchmark 并行计算基本概念 Parallel computing、high performance computing、 high-end computing The simultaneous use of more than one computer to solve a problem. 多计算机-网络 多进程/线程-通信 并行计算环境 加速比/可扩展性 并行计算系统基础 并行计算机分类 主流并行计算机系统比较 机群并行计算环境 并行计算机分类 根据指令流和数据流的不同，通常把计算机系统分为： 单指令流单数据流（SISD） 单指令流多数据流（SIMD） 多指令流单数据流（MISD） 多指令流多数据流（MIMD） 并行计算机系统绝大部分为MIMD系统，包括 并行向量机（PVP，Parallel Vector Processor）； 对称多处理机（SMP,Symmetric Multiprocessor）； 大规模并行处理机（MPP，Massively Parallel Processor）； 机群（Cluster）； 分布式共享存储多处理机（DSM，Distributied Shared Memory） Top500中的超级计算机 地球模拟器 ASCI Q ASCI White Earth Simulator Earth Simulator Earth Simulator ASCI Q ASCI white SMP 对称多处理机 SMP系统一般使用商品化微处理器，具有片上或外置高速缓存 经由高速总线（或交叉开关）连向共享存储器。每个处理器可等同地访问共享存储器、I/O设备和操作系统服务。 单一操作系统映像，全系统只有一个操作系统驻留在共享存储器中，它根据各个处理器的负载情况，动态地分配各个进程到各个处理器，并保持负载平衡； 低通信延迟，各个进程通过读/写操作系统提供的共享数据缓存区来完成处理器间的通信，其延迟通常小于网络通信延迟； 共享总线带宽，所有处理器共享总线带宽，完成对内存模块和I/O模块的访问。 SMP 对称多处理机（续） 问题：欠可靠，总线、存储器、操作系统失效可能导致系统崩溃； 可扩展性较差，由于所有处理器都共享总线带宽，而总线带宽每3年才增加2倍，赶不上处理器速度和存储容量的增长步伐，因此SMP的处理器个数一般少于64个，且只能提供每秒数百亿次的浮点运算。 SMP的典型代表有：SGI POWER Challenge XL系列、DEC Alphaserver 84005/440、HP9000/T600和IBM RS6000/R40。 SMP 对称多处理机（续） DSM 分布式共享存储多处理机 DSM的典型代表为SGI的Origin2000和Origin3000系列并行机 处理器对物理分布的共享存储器的访问是不对称的，因此远端访问延迟一般是本地访问延迟的3倍以上 单一内存地址空间，所有这些内存模块都由硬件进行了统一编址，并通过互连网络形成了并行机的共享存储器 DSM （续） 基于Cache的数据一致性 DSM较好地改善了SMP的可扩展性能。一般地，DSM可以扩展到上百个节点，能提供每秒数千亿次的浮点运算功能 单一的系统映像，在DSM中，用户只看到一个操作系统，它可以根据各节点的负载情况，动态地分配进程 DSM （续） 机群（Cluster） 我国的曙光1000A、曙光2000、曙光3000以及前不久推出的曙光4000L等都是机群架构的并行计算机 Cluster的每个系统都是一个完整的工作站，一个节点可以是一台PC或SMP 各个节点一般由商品化的网络互连，节点上的网络接口是松散耦合到I/O总线上的 每个节点一般有本地磁盘，一个完整的操作系统驻留在每个节点上 机群（Cluster） 可扩展高性能机群服务器技术 单一系统映像 单一系统映像（Single System Image，SSI）并不是指系统中仅有唯一的操作系统映像驻留在内存，而只是感觉上，像一个单一系统。 其基本特征是单一系统、单一控制、对称性、位置透明。采用SSI的主要目的，是使机群的使用、控制和维护似乎和一台工作站一样。 单一系统映像包括单一入口点、单一文件层次结构、单一I/O空间、单一网络、单一作业管理系统、单一存储空间和单一进程空间。 三种体系结构比较（一） 三种体系结构比较（二） Beowulf与机群 Beowulf：自己攒的“高性能计算机” 买PC、网络设备、装linux、MPI、ATLAS 降低了高