第四章对称多处理机系统（SMP）-Read.doc

第四章 对称多处理机系统 第四章 对称多处理机系统 1 4.1引言 2 4.2高速缓存一致性问题和存储一致性模型 3 4.2.1高速缓存一致性问题 3 4.2.2高速缓存一致性和存储系统一致性 4 4.3侦听高速缓存一致性协议 6 4.3.1基本高速缓存一致性协议 6 4.3.2三态回写无效协议（MSI） 8 4.3.3四态回写无效协议（MESI） 9 4.3.4四态回写更新协议（Dragon） 11 4.4基本高速缓存一致性协议的实现 12 4.4.1正确性要求 12 4.4.2基本的高速缓存一致性设计 13 4.5多级高速缓存 17 4.5.1维护包含性 17 4.5.2层次高速缓存一致性的传播 18 *4.6分事务总线 19 4.6.1基本设计 19 4.6.2支持多级高速缓存 22 4.7同步问题 23 4.7.1基本问题 23 4.7.2互斥操作 24 4.7.3点到点事件同步 27 4.7.4全局事件同步 28 4.8实例分析：SGI Challenge 29 4.8.1 SGI处理器和主存子系统 30 4.8.2 SGI I/O子系统 30 4.9小结 31 习题 31 参考文献 33 对称多处理机SMP（Symmetric Multiprocessor）是一类最主要的共享存储的并行计算机系统，一般利用系统总线作为互连网络实现通信，它在现今的并行服务器中几乎普遍被采用，且越来越多的出现在桌面上。在本章中，首先讨论了基于总线的SMP机器设计的一些问题，主要包括高速缓存一致性问题、存储一致性模型、侦听高速缓存一致性协议；然后分别介绍了基于单级高速缓存和原子总线、多级高速缓存和分事务总线的高速缓存一致性协议的实现；最后，介绍了同步问题及一个具体实例SGI Challenge系统。 4.1引言 对称多处理机SMP（Symmetric MultiProcessor）结构在现今的并行服务器中几乎普遍采用，并且已经越来越多的出现在桌面上。同时，SMP机器也越来越多的作为一个构造模块，用来构造更大规模的系统。SMP机器为什么能得到如此广泛的应用呢？让我们来看一下这种机器结构及具有的特性。如图4.1所示，SMP系统使用商用微处理器（具有片上或外置高速缓存），它们经由高速总线（或交叉开关）连向共享存储器。这种SMP结构具有以下一些特性：①对称性：系统中任何处理器均可以对称的存取任何存储单元和I/O设备；②单一物理地址空间：所有处理器的存储单元按单一地址空间编址；③高速缓存及其一致性：多级高速缓存可支持数据局部性，而其一致性可以由硬件来实现；④低通信延迟：处理器间的通信用简单的读/写指令来完成。 图4.1 SMP机器的结构图 这些特性使得对称多处理机具有一些优点。例如,由于存在单一物理地址空间，只需要一个OS副本驻留在共享存储器中，所以OS可以按工作负载情况在多个处理器上调度进程，从而易于达到动态负载平衡和有效的利用系统资源。这一点使得它作为对吞吐率要求很高的服务器是很有吸引力的。另外，由于任何处理器可以用普通的读/写指令来高效的存取共享数据，并且共享数据在本地高速缓存间进行自动复制和移动，这一点，使得对并行编程具有很大吸 图4.2 SMP机器的几种扩展的存储层次结构 引力。SMP的许多优点，使得这种机器得到广泛应用。但是，大多数的对称多处理机多是采用总线连接，因此可扩放性差，机器的规模一般较小。然而，可扩放性对对称多处理机来说是很重要的。下面，我们从扩展存储系统的组织结构方面，来看一下如图4.2所示的多处理机中的4种扩展存储层次结构，其中前三种是对称多处理机，而第四种不是。 在共享高速缓存的方法中（图4.2(a)），互连网络位于处理器和共享的一级高速缓存之间。为了提高带宽，高速缓存和主存系统都是可以交叉存取的。在80年代中期，这种方法常被用来连接一个主板上的多个处理器，现在这种方法可被用来实现单片多处理机（Multiprocessor-on-a-chip）。然而，这种方法当多个对称处理器同时存取共享高速缓存时，对高速缓存的带宽要求很高，另外，对高速缓存数据的存取必须通过处理器和高速缓存间的互连网络，因此，使得高速缓存存取延迟变大。所以，这种方法的可扩放性很差，只适用于机器规模很小的情况，通常只支持2到8个处理器。 在基于总线的共享内存方法中（图4.2(b)），互连网络是处理器的私有高速缓存和共享主存系统间的共享总线。这种方法广泛的应用于小规模和中等规模的多处理机中，其处理器数目通常能达到20到30个。现在，市场上卖的SMP基本上是这种形式的机器。并且，在现代微处理器的设计中，对构成高速缓存一致的共享内存系统也进行支持。例如，只要直接将几个Intel Pentium Pro处理器，用一个共享总线连起来，不需要任何辅助逻辑就构成了一台