标量处理机第六章向量处理机第七章互连网络第八章并行.ppt

第八章 并行处理机 两种并行性概念： 同时性并行Simultaneity：两个或两个以上事件在同一时刻发生 并发性并行Concurrency：两个或两个以上事件在同一时间间隔内发生 三条技术途径： 资源重复：通过重复设置多个处理部件来提高速度 时间重叠：流水线 资源共享：分时系统，分布式系统 8.1 并行处理机模型 8.2 并行处理机的基本结构 8.3 并行处理机实例 8.4 并行处理机算法举例 8.1 并行处理机模型 并行处理机的定义： 多个PU按照一定方式互连，在同一个CU控制下，对各自的数据完成同一条指令规定的操作。 从CU看，指令是串行执行的，从PU看，数据是并行处理的。 并行处理机也称为阵列处理机、SIMD处理机等 并行处理机的应用领域：主要用于高速向量或矩阵运算 并行处理机的操作模型可用五元组来表示： M＝(N，C，I，M，R), 其中： N为PE个数。如IlliacIV有64个PE。 C为控制部件CU执行的指令集，包括标量指令和程序控制指令。 I为所有PE并行执行的指令集，包括ALU、数据传送等操作 M为屏蔽操作集，将PE划分为允许操作和禁止操作两个子集 R是数据寻径集，互连网络中PE间通信所需要的各种模式 8.2 并行处理机的基本结构 并行处理机有两种典型结构： 分布存储器并行处理机、共享存储器并行处理机 一台并行处理机由五个部分组成： 多个处理单元PE，多个存储器模块M，一个控制器CU， 一个互连网络ICN，一台输入输出处理机IOP。 8.2.1 分布存储器并行处理机 8.2.2 共享存储器并行处理机 8.2.3 并行处理机的特点 8.2.1 分布存储器并行处理机 目前的大部分并行处理机是基于分布式存储器模型的 比较容易构成MPP(Massively Parallel Processor),几十万个PE。 必须依靠并行算法来提高PE的利用率。因此，应用领域有限。 CU是控制部件，执行标量指令，并把向量指令广播到各个PE中。在CU中通常有一个较大容量的存储器。 IOP是输入输出处理机，或称为主机。在IOP上安装操作系统，它除了负担输入输出工作外，还负责程序的编辑、编译和调试等工作。 数据在局部存储器中的分布是一个很关键的问题。 标量指令与向量指令可以并发执行。 8.2.2 共享存储器并行处理机 共享多体并行存储器SM通过互连网络与各处理单元PE相连。 存储模块的数目等于或略大于处理单元的数目。 同时在存储模块之间合理分配数据，通过灵活、高速的互连网络，使存储器与处理单元之间的数据传送在大多数向量运算中都能以存储器的最高频率进行，而最少受存储器冲突的影响。 共享存储器模型的处理单元数目一般不多，几个至几十个。 Burroughs Scientific Processor(BSP)采用了这种结构。16个PE通过一个16×17的对准互连网络访问17个共享存储器模块。 存储器模块数与PE数互质可以实现无冲突并行访问存储器。 8.2.3 并行处理机的特点 速度高，依靠增加PE个数来提高速度，与流水线处理机主要依靠缩短时钟周期相比，其提高速度的潜力要大得多。 模块性好，生产和维护方便。 可靠性高，容易实现容错和重构。 效率低，通常作为专用计算机，在很大程度上依赖于并行算法。它依靠的是资源重复，而不是时间重叠，它的每个处理单元要担负多种处理功能，其效率要低一些。 依赖于互连网络。互连网络决定了PE之间的连接模式，也决定了并行处理机能够适应的算法。 需要有一台高性能的标量处理机。如果一台机器的向量处理速度极高，但标量处理速度只是每秒一百万次，则对于标量运算占10％的题目，总的有效速度就不超过每秒一千万次。 8.3 并行处理机实例 IlliacIV 是最先采用SIMD结构的并行处理机。 随后一个方向是用位片PE制造的并行处理机， 如Goodyear MPP、AMT/DAP610和TMC/CM-2。 CM-5是以SIMD模式运行的同步MIMD计算机。 另一个方向是用字宽运算PE的中粒度SIMD计算机。 并行处理机的两个发展方向： 保留阵列结构，但每个处理单元的规模减小，如一个bit。 去掉阵列结构和分布存储器。Burroughs公司的BSP是代表。 GF-11是由IBM Watson实验室研制、作科学模拟研究用的。 MasPar MP1是中粒度并行处理机的典型代表。 并行处理机的两种典型代表： 采用阵列结构分布存储器的IlliacIV并行处理机 去掉阵列结构和分布存储器BSP并行处理机。 8.3.1 IlliavIV 并行处理机 1963年，美国西屋电器公司提出“Slotnick，The SOLOMON Computer，Simultaneous O