第四章 多处理器和线程级并行.ppt

第四章 多处理器和线程级并行;4.1 简介 4.2 对称式共享存储器系统结构 4.3 对称式共享存储器多处理器的性能 4.4 分布式共享存储器和基于目录的一致性;4.1 简介;3、多指令流，单数据流（ MISD）：至今还没有这种类型的商用机器。 4、多指令流，多数据流（ MIMD）：每个处理器取自己的指令并对自己的数据进行操作。 MIMD计算机实现线程级并行，因为多个线程是按并行操作。一般来说，这种线程级并行比数据级并行更加灵活，因此用途更为广泛。 从20世纪90年代开始，单芯片日益增长的容量允许设计者将多个处理器设计在一块单独的晶片上。这种方法一开始称为片内多处理器或单芯片多处理器，现在称为多核，这个名字来自于在单独一个晶片上设计多个处理器内核的方法。在这样的设计中，多个内核共享一些资源，比如二级或三级Cache、存储器和I/O总线。 ; 对于MIMD，每个处理器执行自己的指令流。在许多情况下，每个处理器运行不同的进程。进程是可以独立运行的一段代码，进程的状态包含了处理器运行这个程序的所有必要信息。在一个多道程序环境中，各个处理器可能执行相互独立的任务，因此，每个进程与在其他处理器上执行的进程不相关。 让多个处理器执行同一个程序并且共享程序的代码和地址空间也是十分有效的。用这种方式共享代码和地址空间的多个进程，通常称之为线程。现在，线程经常用来指运行在不同处理器上的多个执行过程，即便它们并没有共享同一地址空间。例如，多线程的系统结构实际上允许不同地址空间上的多个进程同时执行，而且也允许共享地址空间上的多个线程同时运行。; 根据存储器组织方式将现有的MIMD机器分为两类： 第一种类型为集中式共享存储器系统结构。 由于只有单一存储器，它对每个处理器而言都是对等的，并且每个处理器的访问时间相同，这种多处理器系统也称为对成（共享存储器）多处理器系统（SMPs），这种系统结构也称为均匀存储器访问（UMA），这是因为所有的处理器访问存储器都有相同的时延，即使存储器是按多组方式组织的。 ;集中式共享存储器系统结构有三个特点： 1、处理器数量不大——从而所有处理器可共享一个集中式存储器，处理器和存储器通过总线互连。 2、采用大容量Cache——可使采用单一总线和单一存储器满足数目不多处理器对存储器的要求。 3、每一处理器访问存储器的时间是相等的。 ;分布式存储器多处理器 特点： 存储器分布于各节点中，所有节点通过网络互连。访问可以是本地的，也可是远程的；可以不支持cache一致性协议，规定共享数据不进入cache，仅私有数据才保存在cache中。 ; 将存储器分布在各个节点上有两个主要的好处: 第一，如果大部分访问是在节点内的本地存储器中进行 的，这样做是增大存储器比较经济的方法。 第二，缩短了本地存储器访问的时延。在处理器变得越来越快并要求存储器带宽更高以及存储器时延更低的情况下，这两个优点使得这种方法在构建较少处理器的系统时颇具吸引力。分布式存储器系统结构的主要缺点是由于处理器不再共享单一集中存储器，处理器间的数据通信在某种程度上变得更加复杂，且时延也更大。;通信和存储器系统结构模型 如前所述，大规模多处理器系统结构使用与各个处理器分布在一起的多个存储器。根据处理器间传递数据所用的方法，有两种不同的系统结构。 第一种方法通过共享的地址空间进行通信。物理上分开的存储器能够作为逻辑上共享的地址空间进行寻址，就是说只要有正确的访问权限，任何一个处理器都能够通过引用地址的方式访问任意节点上的存储器。这类机器称为分布式共享存储器（DSN）系统。所谓共享存储器指的是共享寻址空间，就是说，两个处理器中相同的物理地址指向存储器中的同一位置。共享存储器并不是说有一个单一的、集中式的存储器。与对称式共享存储器多处理器——也称UMA（均匀存储器访问）相比， DSN多处理器由于访问时间取决于数据字在存储中的位置，因而也称为NUMA（非均匀存储器访问）。; 另外一种地址空间由多个私有的地址空间组成，这些私有地址空间在逻辑上是分散的，并且不能被远程处理器寻址。在这种机器中，两个不同处理器中相同的物理地址分别指向两个不同存储器中的不同位置。每个处理器-存储器模块本质上是一台独立的计算机。最初，这种计算机由不同的处理节点和专用的互连网络组成。目前，这种类型的大多数设计实际上就是集群。 每一种地址空间组织方式都有相应的通信机制。对于共享地址空间的机器，可以利用地址空间通过load和store操作隐式地传递数据；所谓的共享存储器就是由此得名的。对于有多个寻址空间的多处理器系统，数据通信通