第八章 并行计算体系结构课件.doc

并行计算或称平行计算是相对于串行计算来说的；所谓并行计算可分为时间上的并行和空间上的并行。 时间上的并行就是指流水线技术，而空间上的并行则是指用多个处理器并发的执行计算。并行计算科学中主要研究的是空间上的并行问题。 空间上的并行导致了两类并行机的产生，按照Flynn的说法分为：单指令流多数据流（SIMD）和多指令流多数据流（MIMD）。我们常用的串行机也叫做单指令流单数据流（SISD）。MIMD类的机器又可分为以下常见的五类：并行向量处理机(PVP)，对称多处理机(SMP)，大规模并行处理机(MPP), 工作站机群(COW)，分布式共享存储处理机(DSM)。 单指令流多数据流:英文SIMD就是指Single Instruction Multiple Data， 它用一个控制器来控制多个处理器，同时对一组数据（又称“数据向量”）中的每一个分别执行相同的操作来实现空间上的并行性——在微处理器中实现的SIMD则是一个控制器控制多个平行的处理微元，例如Intel的MMX或SSE，以及AMD的3D Now!技术。 多指令流多数据流：多指令流多数据流的英文是Multiple Instruction Stream Multiple Data Stream，它使用多个控制器来异步地控制多个处理器，从而实现空间上的并行性。 并行处理机pvp: 并行向量处理机最大的特点是系统中的CPU是专门定制的向量处理器（VP）。系统还提供共享存储器以及与VP相连的高速交叉开关。 对称多处理机(SMP): 对称多处理机（Symmetric Multiprocessor）最主要的特征是系统的对称性，即每个处理器可以以同等代价访问各个共享存储器。显然，SMP的访存模型一定是均匀访存模型（UMA）的。 kkkk优点是并行度很高，但是由于系统总线的带宽是有限的，故处理器的数目是受限的。 大规模并行处理机(MPP): 大规模并行处理机（Massively Parallel Processor）中，每一个节点由商品（微处理器），局部存储器（分布式存储器）及网络接口电路构成；节点间以定制的高速网络互联。MPP是一种异步的MIMD，因为它的程序有多个进程，它们分布在各个微处理器上，每个进程有自己独立的地址空间，进程之间以消息传递进行相互通信。 工作站机群(COW): 工作站机群每一个节点都是一个完整的工作站，特别地，大规模并行处理机(MPP)可以近似的看成为一个没有本地磁盘的COW。COW的网络接口是松耦合的，即它是接到I/O总线上而不是像MPP那样直接接到处理器存储总线上的。 分布式共享存储处理机(DSM): 分布式共享内存 (DSM), 也被视为一种分散的全域地址空间 (Distributed Global Address Space), 属于计算机科学 的一种机制,可以透过硬件或软件来实作。分布式共享内存主要使用在丛集电脑中，丛集电脑中的每一个网络结点(node)都有非共享的内存空间与共享的内存空间。该共享内存的位置空间(address space)在所有结点是一致的。简单说，同一时间下在结点A读取0和结点B读取0到一样的值。 访存模型 并行计算机有以下四种访存模型：均匀访存模型（UMA），非均匀（NUMA），全高速缓存访存模型（COMA），一致性高速缓存非均匀存储访问模型（CC-NUMA）和非远程存储访问模型（NORMA）。 均匀访存模型（UMA）: 均匀访存模型(UMA)中，所有的物理存储器被均匀共享，即处理器访问它们是时间是一样的。这种系统因为高度的资源共享也被称为紧耦合系统(Tightly Coupled System)。 实例 1. 对称多处理机(SMP); 2. 非对称多处理机:和对称处理机不同的是，这种处理机中处理器有主从之分，主处理器可以操纵I/O 并执行操作系统代码，可以监控从处理器执行用户进程，但是从处理器则不行，只能受主处理器的监视。 非均匀访存模型（NUMA）: 非均匀访存模型（NUMA）的特点是：被共享的存储器物理上是分布式的，所有这些存储器的集合就是全局地址空间。所以处理器访问这些存储器的时间是不一样的，显然访问本地存储器的速度要比访问全局共享存储器或远程访问外地存储器要快些。另外，NUMA中存储器可能是分层的：本地存储器，群内共享存储器，全局共享存储器。 全高速缓存访存模型(Cache-Only Memory Access, COMA) :是NUMA的一种特例，其中各处理器节点无存储层次之分，各个处理器所带的高速缓存就构成的全部地址空间。 一致性高速缓存非均匀存储访问模型（CC-NUMA）: 非均匀访存模型（NUMA）的特点是：被共享的存储器物理上是分布式的，所有这些存储器的集合就是全局地址