并行计算机体系结构的分类.pptVIP

* * 7.1.1 并行计算机体系结构的分类 1. 按照Flynn分类法，可把计算机分成 单指令流单数据流（SISD） 单指令流多数据流（SIMD） 多指令流单数据流（MISD） 多指令流多数据流（MIMD） 7.1 引 言 第７章 多处理机 2. MIMD已成为通用多处理机体系结构的选择，原因： (1) MIMD具有灵活性； (2) MIMD可以充分利用商品化微处理器在性能价格 比方面的优势。 3. 根据系统中处理器个数的多少，可把现有的MIMD 　 机器分为两类 （每一类代表了一种存储器的结构和互连策略） (1) 集中式共享存储器结构 动画 这类机器有时被称为 SMP机器（Symmetric shared-memory MultiProcessor） UMA机器（Uniform Memory Access） 7.1 引 言 集中共享存储器计算机 (2) 分布式存储器结构 动画 每个结点包含：  处理器 存储器 I／O 在许多情况下，分布式存储器结构优于集中式 共享存储器结构  7.1 引 言 分布共享存储器计算机 分布式存储器结构的优点 主要缺点 处理器之间的通信较为复杂，且各处理器之间的 访问延迟较大。 需要高带宽的互连。 簇：超结点 如果大多数的访问是针对本结点的局部存储器， 则可降低对存储器和互连网络的带宽要求； 局部存储器的访问延迟低。 7.1 引 言 7.1.2 通信模型和存储器的结构模型 1. 地址空间的组织方案（两种） (1) 物理上分离的多个存储器作为一个逻辑上共享的 存储空间进行编址。 这类机器的结构被称为 分布式共享存储器结构 （DSM: Distributed Shared-Memory) 可缩放共享存储器结构 （SSM: Scalable Shared-Memory) NUMA机器  （NUMA: Non-Uniform Memory Access) 7.1 引 言 　 (2) 整个地址空间由多个独立的地址空间构成，它 　　　 们在逻辑上也是独立的，远程的处理器不能对 　　　 其直接寻址。 　　 每一个处理器-存储器模块实际上是一个单独 的计算机，这种机器也称为多计算机。 7.1 引 言 共享地址空间的机器 　 利用Load和Store指令中的地址隐含地进行 数据通讯。 多个地址空间的机器 通过处理器间显式地传递消息完成。 (消息传递机器) 2. 两种通信模型 7.1 引 言 消息传递机器根据简单的网络协议，通过传递消息 来请求某些服务或传输数据，从而完成通信。 例如：一个处理器要对远程存储器上的数据进行访问 或操作： (1) 发送消息，请求传递数据或对数据进行操作； 远程进程调用(RPC， Remote Process Call) (2) 目的处理器接收到消息以后，执行相应的操 作或代替远程处理器进行访问，并发送一个 应答消息将结果返回。 7.1 引 言 同步消息传递 请求处理器发送一个请求后一直要等到应答 结果才继续运行。 异步消息传递 发送方不先经请求就直接把数据送往数据接 受方。 3.通信机制的性能指标（3个） (1) 通信带宽 理想状态下的通信带宽受限于处理器、存储 器和互连网络的带宽。 7.1 引 言 (2) 通信延迟 理想状态下通信延迟应尽可能地小。 通信延迟＝发送开销 + 跨越时间 + 传输延迟 + 接收开销 (3) 通讯延迟的隐藏 如何才能较好地将通信和计算或多次通信之 间重叠起来，以实现通讯延迟的隐藏。 通常的原则：只要可能就隐藏延迟。 通信延迟隐藏是一种提高性能的有效途径，但 它对操作系统和编程者来讲增加了额外的负担。 7.1 引 言 4. 不同通信机制的优点 A. 共享存储器通信的主要优点 (1) 与常用的集中式多处理机使用的通信机制兼容。 (2) 易于编程 —— 与传统的编程模式一致 (3) 当通信数据较小时，通信开销较低，带宽利用 较好。 (4) 通过硬件控制的Cache减少了远程通信的频度， 减少了通信延迟以及对共享数据的访问冲突。 7.1 引 言