并行处理技术课件.ppt

第5章 并行处理技术 5.1 计算机系统结构中并行性的发展 5.2 SIMD并行处理机 5.3 SIMD计算机的互连网络 5.4 网络特性 5.5 静态连接网络 5.6 动态连接网络 习题5 5.1 计算机系统结构中并行性的发展 5.1.1 并行性的基本概念 1. 并行性的定义 所谓并行性(parallelism)是指在数值计算、数据处理、信息处理或是人工智能求解过程中可能存在某些可同时进行运算或操作的部分。开发并行性的目的是为了能进行并行处理，以提高计算机系统求解问题的效率。 例如单体多字存储器，每次访存时能同时读出多个字，以加快CPU的访存操作。再如超标量流水线，它通过在CPU中重复设置多条流水线，由多个相同的流水线子部件来同时完成对多条指令的解释。这些都是靠器件简单的重复来实现的。 并行性有更广义的定义，如单处理机中指令的重叠解释方式和流水方式，操作系统中的多道程序分时并行，都是广义上的并行。 由此可以看出，并行性有二重含义，即同时性(simultaneity)和并发性(concurrency)。同时性是指多个事件在同一时刻发生，如SIMD阵列处理机中各PE的并行操作、超标量流水处理机中多条指令的并行解释。并发性是指多个事件在同一时间段内发生。如操作系统中的多道程序分时并行、指令的流水解释过程和运算操作的流水处理过程等。 2 . 并行处理的概念 所谓并行处理是指一种相对于串行处理的信息处理方式，它着重开发计算过程中存在的并发事件。在进行并行处理时，其每次处理的规模大小可能是不同的，这可用并行性颗粒度(granularity)来表示。 颗粒度是衡量软件进程所含计算量的大小，最简单的方法是用程序段中指令的条数来表示。粒度的大小决定了并行处理的基本程序段是指令、循环，还是子任务、任务或作业。颗粒度的大小一般分为细粒度、中粒度和粗粒度三种，若程序段中指令条数小于500条，则称为细粒度，500条到2000条指令之间则称为中粒度，大于2000条则称为粗粒度。 假定系统中共有n个处理器，颗粒度大小G还可用以下公式来表示： G= 式中，TW表示所有处理器工作负载(workload)的总和，即TW=∑twi，这里的工作负载实际上就是进行计算的时间；TC表示所有处理器的通信开销(communication overhead)的总和，即TC=∑tci，这里的通信开销实际上就是进行通信的时间。 由G的表达式可见，当工作负载一定时，粒度愈细，表明通信开销愈大；反之，粒度愈粗，表明通信开销愈小。 3. 并行性的等级 并行性有不同的等级，而且从不同角度来观察时，会有不同的划分方法。在程序执行过程中，根据并行进程中颗粒度的大小不同，通常可划分成以下五个等级：作业级、任务级、例行程序或子程序级、循环和迭代级以及语句和指令级，如图5.1所示。 通常，并行处理是指在这些层次上的任何一级或多级上的并行性开发。层次越高的并行处理粒度就越粗，而低层上的并行处理粒度就较细。粗粒度并行性的开发主要采用MIMD方式，它开发的主要是功能并行性。而细粒度并行性的开发则主要采用SIMD方式，它开发的主要是数据并行性。 5.1.2 实现并行性技术的途径 计算机系统中实现并行性技术的途径多种多样，但就其基本思想而言，可归纳为以下三种途径： 1. 时间重叠（time-interleaving） 时间重叠是指在并行性概念中引入时间因素，让多个处理过程在时间上相互错开，轮流重叠地使用同一套硬件设备的各个部分，以加快硬件周转而赢得速度。 例如指令的流水解释过程，它通过把指令的解释过程划分成若干个相互联系的子过程，每一个子过程由专门的子部件来完成，利用时间重叠的方式解释不同的指令。采用时间重叠的方式基本上不需要增加硬件设备就可提高系统的速度和性能价格比。 2. 资源重复（resource-replication） 资源重复是指在并行性概念中引入空间因素，通过重复设置硬件资源来提高可靠性或性能。随着硬件价格的降低，这种方式在单处理机中被广泛使用，而多处理机本身就是资源重复的结果。 例如热备用系统、容错系统等，它们根