第9章多处理机.ppt

9.5 机群系统 机群系统的特点 机群系统的关键技术 * 第 7 章 多 处 理 机 * 第 7 章 多 处 理 机 第 9 章 多 处 理 机 9.1 多处理机的特点及主要技术问题 9.2 多处理机的硬件结构 9.3 程序并行性 9.4 多处理机的Cache一致性 9.5 机群系统介绍 9.1 多处理机的特点及主要技术问题 下面从几个方面来和SIMD的存在差别。 结构灵活性：更灵活 2) 程序并行性 ：指令级vs任务级别 4) 进程同步 ：存在进程同步问题 多处理机主要存在如下技术问题： (1) 硬件结构上如何解决好处理机、 存贮器模块及I/O子系统之间的互连。 (2) 如何最大限度地开发系统的并行性，以实现多处理机各级的全面并行。 (3) 如何选择分割任务和子任务的大小，即任务的粒度大小， 使并行度高， 而辅助开销小。 (4) 如何协调好多处理机中各并行执行的任务和进程间的同步问题。 (5) 如何将各个任务分配到一个或多个处理机上， 解决好处理机调度、任务调度和资源分配问题， 防止死锁。 (6) 一旦某个处理机发生故障，如何对系统进行重新组织而不使其瘫痪。 第 9 章 多 处 理 机 9.1 多处理机的特点及主要技术问题 9.2 多处理机的硬件结构 9.3 程序并行性 9.4 多处理机的Cache一致性 9.5 机群系统介绍 9.2 多处理机的硬件结构 紧耦合和松耦合 1. 紧耦合多处理机 紧耦合多处理机是通过共享主存来实现处理机间通信的，其通信速率受限于主存的频宽。但是，由于各处理机与主存经互连网络连接，系统中处理机数就受限于互连网络带宽及多台处理机同时访问主存发生冲突的概率。 图 紧耦合多处理机的结构 图 带非对称I/O子系统的多处理机 2. 松耦合多处理机 图 通过消息传送系统连接的松耦合多处理机结构 图 CMU设计Cm*多处理机结构 机间互连形式 1. 总线形式 多个处理机、存贮器模块和外围设备通过接口与公用总线相连，采用分时或多路转接技术传送。 优点：其中，单总线方式结构简单、成本低，系统上增减模块方便。 弱点：处理机数增加会增大访问总线冲突的概率而导致系统效率急剧下降。 只适用于处理机数较少的场合。 IBM Stretch和UNIVAC Larg多处理机采用的就是单总线方式。 提高总线形式的系统效率办法： 一，采用优质高频同轴电缆来提高总线的传输速率；进一步使用光纤通信， 其信息速率可达109~1010 b/s。 二，采用多总线方式来减少访问总线的冲突概率。 如美国的Tandem-16 和Pluribus就采用双总线方式来提供一定的总线冗余和增大系统总的信息传送率。德国西门子公司的结构式多处理机SMS采用的是八总线方式。而上节介绍的Cm*多微处理机则采用分级的多总线方式。 2. 环形互连形式 图 机间采用环形互连的多处理机 3. 交叉开关形式 图 交叉开关形式 图 用 4×4 的交叉开关模块构成 16×16 的两级交叉开关网络 4. 多端口存贮器形式 图 四端口存贮器形式的结构 第 9 章 多 处 理 机 9.1 多处理机的特点及主要技术问题 9.2 多处理机的硬件结构 9.3 程序并行性 9.4 多处理机的Cache一致性 9.5 机群系统介绍 9.3 程 序 并 行 性 9.3 并行算法举例 当处理机数目很多时，需要把一个问题分解成能够由足够多的处理机进行并行处理的表达。 这个过程需要算法、程序语言、编译、操作系统和指令、硬件的结合。 9.3 程 序 并 行 性 9.3 并行算法举例 算术表达式的并行运算 算法必须适应具体的计算机结构。串行处理机上习惯采用的循环和迭代算法往往不适合于多处理机，而采用直接解法有时反倒能揭示更多的并行性。 例如，E1=a+bx+cx2+dx3 利用霍纳(Horner)法可得到 E1=a+x(b+x(c+x(d))) 图 利用交换律和结合律降低树高 降低树高适合于串行处理，但是不一定适合于并行处理 表达式运算并行性的识别，除了依靠算法以外，还可以依靠编译程序。有一些编译算法可以经过或不经过逆波兰后缀表达式直接从给定的算术表达式产生能并行执行的机器指令。 例如， 给定算术表达式Z=E+A*B*C/D+F 利用普通的串行编译算法， 产生三元指令组指令之间都是相关的，需5级