第八讲 多处理机.pptVIP

;8.1 引 言 8.2 对称式共享存储器体系结构 8.3 分布式共享存储器体系结构 8.4 同 步 8.5 同时多线程 8.6 多处理机实例;8.1.1 并行计算机体系结构的分类 按照Flynn分类法，可把计算机分成： 单指令流单数据流（SISD） 单指令流多数据流（SIMD） 多指令流单数据流（MISD） 多指令流多数据流（MIMD）;2. MIMD已成为通用多处理机体系结构的选择： (1) MIMD具有灵活性 既适合单用户，又适合多任务。 (2) MIMD可以充分利用商品化微处理器（多核）在性能价格比方面的优势。 3. 根据系统中处理器个数的多少，可把现有的MIMD机器分为两类： (1) 集中式共享存储器结构 （数量少、单主存储器） SMP机器（Symmetric Shared-Memory Multiprocessor） UMA机器（Uniform Memory Access）;;(2) 分布式存储器结构 （数量多、多主存储器） 存储器分配到各个处理器上，而不是集中式的。 每个结点包含： 处理器 存储器 I／O ;; 分布式存储器结构的优点;8.1.2 通信模型和存储器的结构模型 1. 地址空间的组织方案（两种） (1) 物理上分离的多个存储器作为一个逻辑上共享的存储空间进行编址。这类机器的结构被称为： 分布式共享存储器结构 （DSM: Distributed Shared-Memory) 可缩放共享存储器结构 （SSM: Scalable Shared-Memory) NUMA机器  （NUMA: Non-Uniform Memory Access);　 (2) 整个地址空间由多个独立的地址空间构成，它 　 们在逻辑上也是独立的，远程的处理器不能对其直 接寻址。; 共享地址空间的机器 　 利用Load和Store指令中的地址隐含地进行数据通讯。 (共享存储器访问) 多个地址空间的机器 通过处理器间显式地传递消息完成。 (消息传递) ; 消息传递根据简单的网络协议，通过传递消息来请求某些服务或传输数据，从而完成通信。 例如：一个处理器要对远程存储器上的数据进行访问或操作： (1) 发送消息，请求传递数据或对数据进行操作； 远程进程调用(RPC， Remote Process Call) (2) 目的处理器接收到消息以后，执行相应的操 作或代替远程处理器进行访问，并发送一个应答消息将结果返回。; 同步消息传递 请求处理器发送一个请求后一直要等到应答结果才继续运行。 异步消息传递 发送方不先经请求就直接把数据送往数据接受方。;(2) 通信延迟 理想状态下通信延迟应尽可能地小。 通信延迟＝发送开销 + 跨越时间 + 传输延迟 + 接收开销 (3) 通讯延迟的隐藏 如何才能较好地将通信和计算 或 多次通信之间重叠起来，以实现通讯延迟的隐藏。 通常的原则：只要可能就隐藏延迟。 通信延迟隐藏是一种提高性能的有效途径，但它对操作系统和编程者来讲增加了额外的负担。;4. 不同通信机制的优点 A. 共享存储器通信的主要优点 (1) 与常用的集中式多处理机使用的通信机制兼容。 (2) 易于编程 —— 与传统的编程模式一致 (3) 当通信数据较小时，通信开销较低，带宽利用较好。 (4) 通过硬件控制的Cache减少了远程通信的频度，减少了通信延迟以及对共享数据的访问冲突。 ;B. 消息传递通信机制的主要优点 (1) 硬件较简单。 (2) 通信是显式的，从而引起编程者和编译程序的注意，着重处理开销大的通信。;8.1.3 并行处理面临的挑战 并行处理面临着两个重要的挑战： 程序中有限的并行性 相对较高的通信开销  ; 例8.1 如果想用100个处理器达到80的加速比，求原计算程序中串行部分所占比例。 99.75%;远程访问一个字的延迟时间 ;例8.2 一台有32个处理器的计算机，对远程存储器访问时间为2000ns。除了通信以外，假设计算中的访问均命中局部存储器。当发出一个远程请求时，本处理器挂起。处理器时钟时间为10ns，如果指令基本的CPI为1.0(设所有访存均命中Cache)，求在没有远程访问的状态下与有0.5%的指令需要远程访问的状态下，前者比后者