第6 章多处理器和线程级并行.docVIP

第6章 多处理器和线程级并行 传统系统结构的革新发生在60年代中期，当时为提高计算机运行速度付出的努力而得到的收益变得越来越少。…… 电子电路的速度最终将受到光速的限制…… 而大量的电路已经运行在纳秒的范围内了。 Bouknight 等, The Illiac IV System [1972] 串行计算机的计算能力正在接近其基础的物理极限，这个物理极限就是光速…… A.L.DeCegama, The Technology of Parallel Processing, Volume I (1989) 随着技术上接近光速的同时，今天的计算机……也遇到了一个不可逾越的障碍。尽管串行处理器的运行速度已经达到如此之快，所能期望的最高速度也不过是每秒几百万条指令。 Mitchell, The Transputer: The Time Is Now [1989] 6.1 简介 正如本章开始的引言所说，认为单处理机系统结构的发展接近结束的观点已在不同的时期里得到广泛的认同。与这种观点相反的是，我们观察到在1985-2000这段时间里，在微处理器的推动下，单处理机性能的增长达到了从1950年代后期和1960年代初期的第一个晶体管计算机诞生以来的最高速度。 但总的说来，我们依然相信并行处理机必然在将来起到更大的作用。这一观点的根据有三个：首先，由于微处理器很可能仍是主要的单处理机技术，因此要使处理机的性能超出单处理机，符合逻辑的想法是把多个微处理器连接在一起，这要比设计定制处理器更划算。第二，系统结构革新的步伐是以指令级并行的不断开发为基础的，这种情况持续了15年，但这能否不确定地持续下去还不明朗。正如第3章和第4章中所述，现代的多发射处理器已经变得异常复杂，而且通过增加复杂度、增加硅和增加电能来提高性能的可能性似乎正在减少。第三，对于广泛推广并行机的主要障碍，即软件，出现了缓慢但稳定的进展。正如我们在在第3章和第4章中讨论的那样，这种发展在服务器和嵌入式市场中可能更快。服务器和嵌入式应用展现了自然的并行性。这种并行不需要一些负担（如重写一个巨型软件）就可以使用。这是对桌面计算机的一个挑战。 然而我们还很难肯定单一处理器系统结构的发展将要趋于灭亡。事实上，我们仍然相信其性能的高速发展至少会持续5年。这种革新速度能否维持更长时间是很难预测和断定的。不过，如果单处理器发展的速度变慢，多处理器系统结构会更具吸引力。 那就是说，留给我们的有两个问题。第一，多处理器系统结构是一个巨大而多样的领域，其中很多领域仍处于不成熟的阶段。各种观念变化不定，知道最近以来，失败的结构比成功的多。尽管我们已经讨论到这里，但对多处理机的设计空间以及权衡策略的全面论述仍需要另一本专著（实际上，Culler，Singh和Gupta在他们长达1000页的著作中只讨论到了多处理机）。其次，全面的论述必然要对一些经不起时间考验的方法进行讨论，这正是本书中所要避免的。由于这些原因，我们宁愿将注意力集中在多处理机设计的主流上：由少量到中等数量的处理器（≤128）组成的多处理机。这样的设计由于处理器数量和价格的原因而占据主流。本书中只会用少量篇幅对大规模多处理器（≥128）的设计空间进行论述。这类计算机未来的系统结构在90年代中期还无法确定，甚至连是否具有市场的生存能力都值得怀疑。在我们将在本章的末尾，6.15小节重新简短地讨论它。 并行系统结构的分类 我们首先给出一个分类方法，然后读者就能据此够鉴别多处理机的各种不同设计方案以及形成多处理机主流形式的发展背景。我们会简要地介绍这些不同的设计方案及其基本原理；关于这些不同的模型是如何产生（而通常也会消亡）的，将会在本章结尾的历史回顾这一节中论述。 使用多个处理器来提高性能和增加可用性的思想应追溯到最早的电子计算机。大约30年前，Flynn提出了一种对所有计算机进行分类的简单模型，在今天看来这个模型仍然很有价值。他根据多处理机中最受限制部件中的指令所调用的数据流和指令流的并行度，把所有的计算机归为四类： 单指令流，单数据流（SISD）——单处理机。 单指令流，多数据流（SIMD）——同一条指令被多个使用不同数据流的处理器执行。每个处理器有自己的数据存储器（因此是多数据），但系统中有唯一的指令存储器和控制处理器，用来获取和分派指令。我们在第2章提到的多媒体扩展就是SIMD并行的一种形式。向量系统结构是这种处理机的最大类。 多指令流，单数据流（MISD）——至今还没有这种类型的商用机器，也许将来可能会有。一些特殊目的的流式处理机接近这种形式（多个功能单元仅对单数据流操作）。 多指令流，多数据流（MIMD）——其中每个处理器取用自己的指令并对自己的数据进行操作。通常使用现有的微处理器实现。 这只