并行处理机和多处理机.pptVIP

互连网络处理机1处理机2处理机N存储器存储器存储器I/OI/O具有通过互连网络共享存储器和I/O的多处理机系统第30页，共52页，星期日，2025年，2月5日处理机1存储器I/O处理机2存储器I/O处理机N存储器I/O互连网每个处理机都拥有自己的存储器和I/O的多处理机系统第31页，共52页，星期日，2025年，2月5日1、结构灵活性并行处理机：专用，PE数很多（几千个），固定有限的通信

多处理机：通用，几十个，高速灵活的通信2、程序并行性并行处理机的并行性存在于指令内部，识别比较容易。

多处理机的并行性存在于指令外部，在多个任务之间，识别难度较大。一个简单的例子： Y=A+B*C*D/E+F

用两个处理机：

CPU1：CPU2：B*C，D/E，

A+F，B*C*D/EA+B*C*D/E+F多处理机系统的特点第32页，共52页，星期日，2025年，2月5日3、并行任务派生

并行处理机把同种操作集中在一起，由指令直接启动各PE同时工作。多处理机用专门的指令来表示并发关系，一个任务开始执行时能够派生出与它并行执行的另一些任务，如果任务数多于处理机数，多余的任务进入排队器等待。4、进程同步

并行处理机仅一个CU，自然是同步的 多处理机执行不同的指令，工作进度不会也不必保持相同,先做完的要停下来等待。有数据相关和控制相关也要停下来等待,要采取特殊的同步措施来保持程序所要求的正确顺序。5、资源分配和进程调度

并行处理机的PE是固定的，采用屏蔽手段改变实际参加操作的PE数目

多处理机执行并发任务，需用处理机的数目不固定，各个处理机进入或退出任务的时刻不相同，所需共享资源的品种、数量又随时变化提出资源分配和进程调度问题，它对整个系统的效率有很大的影响。第33页，共52页，星期日，2025年，2月5日引起峰值性能下降的原因是：

(1)因处理机间通信而产生的延迟

(2)一台处理机与其它处理机同步所需的开销

(3)当没有足够多任务时，一台或多台处理机处于空闲状态

(4)由于一台或多台处理机执行无用的工作

(5)系统控制和操作调度所需开销研究多处理机的目的：

提前5年得到速度高10倍的机器。或用1/10的价格获得一台高性能的机器。

如果设计得好，在某些适合进行并行处理得应用领域，可以达到：提前10年得到速度高100倍的机器或用1/100的价格获得一台高性能的机器。多处理机性能模型第34页，共52页，星期日，2025年，2月5日并行性在很大程度上依赖于R/C比值，其中：R代表程序执行时间，C代表通信开销。通常：R/C比值小，并行性低。R/C比值大，并行性高如果把作业分解成较大的块，就能得到较大的R/C值，但是所得到的并行性比最大可能的并行性要小得多。R/C比值是衡量任务粒度(Granularity)大小的尺度

在粗粒度（Coarsegrain）并行情况下，R/C比值比较大，通信开销小

在细粒度（Finegrain）并行情况下，R/C比值比较小，通信开销大细粒度并行性需要的处理机多，粗粒度并行性需要的处理机少。细粒度并行性的基本原理是把一个程序尽可能地分解成能并行执行的小任务。在极端情况下，一个小任务只完成一个操作。第35页，共52页，星期日，2025年，2月5日1.基本模型在两台处理机情况每个任务的执行时间为R个单位时间两个任务不在同一台处理机上时，通信开销为C个单位时间K个任务给一台处理机M-K个任务给另一台处理机总处理时间=Rmax(M-K，K)+C(M-K)K结论：当R/CM/2时，把所有任务分配给一台处理机能使总处理时间最小；当R/CM/2时，把任务平均分给两台处理机能使总处理时间最小。第36页，共52页，星期日，2025年，2月5日2.N台处理机系统的基本模型将Ki个任务分配给第i台处理机。推广前面的式子：第37页，共52页，星期日，2025年，2月5日并行处理机和多处理机第1页，共52页，星期日，2025年，2月5日并行处理计算机模型并行处理机定义：

多个PU按照一定方式互连，在同一个CU控制下，对各自的数据完成同一条指令规定的操作。

从CU看，指令是串行执行的，从PU看，数据是并行处理的。

并行处理机也称为阵列处理机。按照佛林分类法，它属于SIMD计算机。并行处理机的应用领域：

主要用于高速向量或矩阵运算中。8.1并行