第6章 多处理机系统.pptVIP

清华大学计算机科学与技术系 汤志忠 第1章 计算机系统设计基础 第2章 数据表示与指令系统性能分析 第3章 通道处理机 第4章 流水技术和向量处理 第5章 阵列计算机 第6章 多处理机系统 第7章 其它计算机结构 第6章 多处理机系统 6.1 基本概念与机间互连形式 6.2 多处理机系统中并行性分析 6.3 共享存储器体系结构 6.4 消息传递体系结构 6.5 MPI并行程序设计基础 超级计算机---6种机器模型 SIMD阵列计算机 并行向量处理机(PVP) 对称多处理机(SMP) 大规模并行处理机(MPP) 工作站机群(COW) 分布式共享存储多处理机(DSM) 6.1 基本概念与机间互连形式 本节主要了解的内容： 多处理机的特点 多处理机的分类 多处理机间的互连方式 一、多处理机的特点 多处理机结构由若干台独立的计算机组成，每台计算机能够独立执行自己的程序。Flynn称这种结构为多指令流多数据流（MIMD）结构。 多处理机系统中的处理机之间按某种形式互连，从而实现程序之间的数据交换和同步。 多处理机系统中每台处理机都有寄存器、运算器、逻辑部件、访问存储器和I/O的通道。 还有一种多处理机系统中每台处理机还可有自己的存储器和I/O设备。 多处理机与SIMD的并行处理相比，具有如下特点： 结构与通用性 SIMD：单指令流系统，并行操作相同，一个CU，PE数很多，控制、数据通讯简单，通用性较差； MIMD：多指令流系统，并行操作不同，多个CU，PE数几十个，控制、数据通讯复杂，通用性较强。 程序并行性 SIMD：操作级并行（数据并行） 识别：隐式识别和向量指令， 支持：编译程序和硬件； MIMD：任务级并行（数据、功能并行） 识别：显式指令、编译程序、OS和硬件等， 支持：专用指令，OS对任务的分派和调度。 任务派生 SIMD：把同种操作集中在一起，由指令直接启动各PE同时工作。 MIMD： 用专门的指令来表示并发关系，一个任务开始执行时能够派生出与它并行执行的另一些任务，如果任务数多于处理机数，多余的任务进入排队器等待。 进程同步 SIMD：单一CU控制，自然同步； MIMD：多个CU控制，需采取特殊措施同步（等待、信号灯等）。 资源分配和任务调度 SIMD：屏蔽手段，无需调度； MIMD：多处理机执行并发任务，需用处理机的数目不固定，各个处理机进入或退出任务的时刻不相同，所需共享资源的品种、数量又随时变化。故需提出资源分配和进程调度问题，它对整个系统的效率有很大的影响。 二、多处理机的分类 1、按各处理机之间物理连接的紧密程度分类 紧耦合多处理机：通过总线或高速开关实现互连，共享主存储器 松耦合多处理机：通过通道或通信线路实现处理机之间互连，共享外围设备 多处理机系统结构（一） 三、多处理机间的互连方式 多处理机机间的连接比SIMD要求要高，具体表现在： 更灵活多样的互连模式以适应机间通信模式的多样性； 适应机间通信的不规则性，实现无冲突连接； 互连网络具有高带宽和低成本 常用的互连方式有： 总线互连方式 环形互连方式 交叉开关互连方式 多端口存储器互连方式 开关枢纽结构形式 是总线形式的极端，总线数=PE数+PEM数+I/O通道数，是一种全相联形式，控制、仲裁、转换机构均在开关中。 改进：用一系列较小开关串联或并联，形成多级交叉开关，减少其复杂性。 　如用4×4的交叉开关组成16×16的二级交叉开关网络，使设备量减少为单级16×16的一半。这实际是用4×4的交叉开关模块构成42×42的交叉开关网络。其中，指数2为互连网络的级数。 交叉开关方式不适宜连接过多的处理机。 5、开关枢纽形式 将互连结构设置在PE或其接口内部，组成分布结构(松耦合)。 开关枢纽：由仲裁单元和开关单元组成，端口数不能多。 结构：由开关枢纽组成各种结构，如树形结构。 开关枢纽网络适宜于PE数较多的系统。 6.2 多机系统中的并行性分析 多机系统中并行性开发的内容 多处理机并行性既存在于指令内部，也存在于指令外部，因此，必须利用算法、程序语言、编译、操作系统以及指令、硬件等多种途径来开拓。 并行算法 程序并行性分析 并行程序设计语言 1、并行算法 算术表达式的并行运算 举例4(续) E1=a+bx+cx2+dx3 用3台处理机，需4级运算 级数(高度)Tp=4 处理机数P=3 加速比Sp=顺序运算级数T1/ P台处理机运算的级数Tp =6/4=3/2 效率Ep=Sp/P=1/2， 即运算的加速总是伴随着效率的下降 说明：表达式运算并行性的识别，除了依靠算法以外，还可以依靠编译程序。 有一些编译算法可以经过或不经过逆波兰后缀表达式直接从给定的算术表达式产生能并行执行的机器指令。 2、程序并行性的分析 数据相关 如果Pi