九章节 多处理机.pptVIP

第九章 多处理机; 并行性(parallelism)：指同一时刻或同一时间间隔内完成两种或两种以上性质相同或不同的工作。只要在时间上相互重叠，均存在并行性。 并行性分：同时性、并发性。 并行性等级（执行的角度，从低到高）： 1）指令内部并行性，即指令内部的微操作之间的并行。 2）指令间并行，即并行执行两条或多条指令。 3）任务级或过程级并行，即并行执行两个或多个过程或任务（程序段） 4）作业或程序级并行，即在多个作业或程序间的并行。 阵列处理机（SIMD）实现的是指令内部并行性（多数据流执行同一指令）。 多处理机系统（MIMD）实现指令以上级（任务级、作业级）并行。;多处理机系统的基本结构;两种多处理机系统基本结构： 1）共享存储器使多处理机拥有同一的寻址空间，一方面便于处理机之间的信息交换，另一方面使程序员无需在程序中显式地控制数据的分布和传输，因而易于编程。 2）分布式存储器可以采用虚拟共享存储器技术。虚拟共享存储器（Virtual Shared Memory）对分布在各处理机的局部存储器在逻辑上统一编址，形成一个为所有处理机共享的虚拟地址空间（ Virtual Address Space）。虚拟共享存储器技术方便了程序员编程，但是，处理机之间信息交换的物理实现仍然是通过点对点的通信。; 共享存储器=共享存储器+虚拟共享存储器 共享存储多处理机 (Shared Memory mulptiProcessors)，也称为对称多处理机SMP (Symmetry MultiProcessors) 有三种模型： 1) UMA多处理机 均匀存储器存取模型 (Uniform Memory Access) ▲存储器被所有处理机均匀共享 ▲所有处理机对所有存储单元具有相同的存取时间 ▲每台处理机有局部Cache ▲外围设备可以共享 2) NUMA多处理机 非均匀存储器存取 (Nonuniform Memory Access)模型 ▲存储器访问时间随存储单元的位置不同而变化。 ▲共享存储器在物理上是分布在所有处理机中的本地存储器。所有局部存储器地址空间的集合就组成了全局地址空间。 ▲处理机访问本地存储器比较快，访问属于另一台处理机的远程存储器则比较慢，因为通过互连网络会产生附加的时间延迟。;系统互连网络;3) COMA多处理机 只有Cache的存储器结构 (Cache-Only Memory Architecture) 模型， COMA是一种只用Cache的多处理机系统，实际上，COMA模型是NUMA模型的一种特例。后者分布存储器换成了Cache。 ▲在每个处理机结点上没有主存储器，全部Cache组成了全局虚拟地址空间。 ▲远程Cache访问通过分布Cache目录进行。 ▲共享存储系统拥有统一的寻址空间，程序员不必参与数据分配和传输。;互连网络;多处理机系统的特点;3）并行任务派生 SIMD把同种操作集中在一起，由指令直接启动各PE同时工作。 MIMD用专门的指令来表示并发关系，一个任务开始执行时能够派生出与它并行执行的另一些任务，如果任务数多于处理机数，多余的任务进入排队器等待。 4）进程同步 SIMD仅一个CU，自然是同步的 MIMD执行不同的指令，工作进度不会也不必保持相同，先做完的要停下来等待。有数据相关和控制相关也要停下来等待，要采取特殊的同步措施来保持程序所要求的正确顺序。;5）资源分配和进程调度 SIMD的PE数目固定，受同一控制器控制，程序员采用屏蔽手段改变实际参加操作的PE数目。 MIMD执行并发任务，需用处理机的数目不固定，各个处理机进入或退出任务的时刻不相同，所需共享资源的品种、数量又随时变化。因此，如何进行资源分配和进程调度对整个系统的效率有直接的影响。;多处理机的Cache一致性问题;1）共享可写数据引起的不一致 假设有两个处理机P1、P2，它们私有的Cache分别为C1、C2， C1、C2中保存共享存储器某个数据X的拷贝，其初始状态如下图所示。 假设P1改写C1，使X变为X`，如果P1采用“写通过WT(Write Through)”策略，那么，主存对应的数据也改为X`，但是C2中的对应数据仍然为X，这时如果P2读C2，那么读取的数据将是X，而非X`，即与主存对应数据不一致；如果采用“写回WB(Write Back)”策略，即P1更新C1后主存数据不立即更新，