可扩展性能原理与加速比性能模型.docVIP

第十二章 并行系统的可扩展性分析 并行计算机的基本概念 为讨论并行系统的加速比模型,不可避免的要涉及到许多并行系统的基本概念,因此首先在此处对并行系统的许多基本概念进行介绍。 Micheal Flynn根据指令和数据流概念提出了不同计算机系统结构的分类法，传统的顺序机被称为SISD（单指令流单数据流）计算机。向量计算机用标量和向量硬件装备，或以SIMD（单指令流多数据流）机的形式出现。而我们通常所讨论的并行计算机则属于MIMD（多指令流多数据流）机。 下面首先从系统结构角度介绍两类并行计算机：共享存储型多处理机及分布存储型多计算机。这两类并行计算机可以通过共享公用存储器或非共享分布存储器建立相应的物理模型。 共享存储型多处理机 包括三种模型: 均匀存储器存取（Uniform-Memory-Access,简称UMA）模型、非均匀存储器存取（Nonniform-Memory-Access，简称NUMA）模型和只用高速缓存的存储器结构（Cache-Only Memory Architecture，简称COMA）模型，这些模型的区别在于存储器的外围资源如何共享或分布。 均匀存储器存取模型模型(UMA) 在UMA多处理机模型中，物理存储器被所有处理机均匀共享，所有处理机对所有存储字具有相同存取时间。每台处理机可以有私用高速缓存，外围设备也可以一定形式共享。其结构模型可表示如下: 非均匀存储器存取模型(NUMA) NUMA多处理机是一种共享存储器系统，其访问时间随存储字的位置不同而变化。上图给出了一种NUMA模型，其共享存储器物理上是分布在所有处理机的本地存储器上。所有本地存储器的集合组成了全局地址空间，可被所有的处理机访问。 除分布存储器外，这种处理机系统还可构成全局共享存储器。在这种情况下，存储器访问有三种模式：本地存储器访问；全局存储器访问；远程存储器访问。 只用高速缓存的存储器结构模型(COMA) 只用高速缓存的多处理机可认为是COMA模型。可以说,COMA模型是NUMA机的一种特例，只是将后者中分布主存储器换成了高速缓存，在每个处理机结点上没有存储器层次结构，全部高速缓存组成了全局地址空间。远程高速缓存访问则借助于分布高速缓存目录进行，分级目录往往可用来帮助寻找高速缓存块的副本。 分布存储型多计算机 分布存储型多计算机系统的特点是系统由多个被称为结点的计算机通过消息传递网络互相连接而成，每个结点是一台由处理机、本地存储器和有时连接有磁盘I/O外围设备组成的自主的计算机。其典型结构如下图所示: 在上图中消息传递网络提供结点之间的点到点静态连接。所有本地存储器是私用的，而且只有本地处理机才能访问。因此，传统的多计算机已被称为近地存储访问（NORMA）机。但是，这种限制在将来用分布共享存储器的多计算机中将逐步取消。结点间的通信用消息消息传递通过静态连接网络来实现。 并行计算机的可扩展性能分析 计算机系统的性能与许多因素有关，它们对计算机的系统结构和应用程序的可扩展性都有影响。可扩展性的最简单的定义就是在确定的应用背景下，计算机系统性能要随处理机数的增加而线性的提高。 对一台计算机的可扩展性的分析必须针对给定的应用程序/算法进行，这种分析也是在对问题规模（工作负载）和机器规模（处理机数）的增加加以各种限制的条件下完成的。深入的了解可扩展性将有助于对解决大型应用问题的并行计算机的性能做出合适的评价。 下面首先介绍一下有关的基本概念及其发展现状。 可扩展计算机的发展情况 正如Cybenko和Kuck（1992）所述，大规模并行性的概念是相当老的，但实现的技术确十分新，而软件相对来说尚未很好的开发。并行处理的发展趋势是用分布式共享存储器和标准化UNIX来构造可扩展超级计算机。这里首先讨论一下可扩展计算机的发展过程及设计概念。 系统可扩展性的研究是从要求增加机器规模开始的。一台规模可扩展的计算机应设计成其资源部件数能从小到大可扩展。希望对于确定的应用范围，当问题规模增大时，系统的性能线性的上升。着了所说的部件包括计算机、处理机或处理单元、存储器、开关、机柜等。 规模可扩展性与空间局部性、时间局部性以及部件瓶颈都有关系。因为超大型系统的时延本来就比小系统和集中系统长，所以程序运行的局部性将有利于允许时延增加。消除瓶颈的条件是在处理、存储与I/O带宽之间有一种平衡的设计。 时间可扩展性：由于微处理器每用三年就要过时，所以时间可扩展性和规模可扩展性一样重要。不仅象制造处理机与存储器芯片的CMOS电路和组装技术等硬件技术应该是可扩展的，而且那些要求与新硬件系统兼容和可移植的软件/算法也应该是可扩展的。总的来说，为了在给定的应用中取得良好的效果，计算机的全部特性，诸如处