8 多处理机.pptVIP

第8章 多处理机 张长明 hdjsjxtjg@126.com password：ncepubd 8.1 引 言 Flynn分类法 SISD、SIMD、MISD、MIMD MIMD已成为通用多处理机系统结构的选择，原因： MIMD具有灵活性。通过适当的软/硬件支持，MIMD计算机可用作单用户计算机，针对一个应用程序发挥出其高性能，也可用作多道程序计算机，同时运行多个任务；或是两种功能的组合。 MIMD可以充分利用商品化微处理器在性能价格比方面的优势。 8.1 引 言 根据系统中的存储器结构和互连策略，可把现有的MIMD计算机分为两类： 集中式共享存储器结构 最多由几十个处理器构成。 通过大容量的Cache和总线互连使各处理器共享一个单独的物理存储器。 这类计算机也被称为对称式共享存储器计算机（SMP） 从访存模型角度看，又属于均匀存储访问计算机UMA。 8.1 引 言 8.1 引 言 分布式存储器结构 具有分布的物理存储器，支持规模较大的多处理机系统。 为支持较多的处理器，存储器必须分布到各个处理器上，而不是采用集中式的存储器，否则存储器系统将不能满足因处理器个数较多而带来的带宽要求。 处理器个数较多还要求有高带宽的互连网络。 8.1 引 言 8.1 引 言 分布式存储器结构 每个结点包含： 处理器 存储器 I／O 互连网络接口 在许多情况下，分布式存储器结构优于集中式共享存储器结构。 8.1 引 言 分布式存储器结构的优点 如果大多数的访问是针对本结点的局部存储器，则可降低对存储器和互连网络的带宽要求。 对局部存储器的访问延迟低。 最主要的缺点 处理器之间的通信较为复杂，且各处理器之间访问延迟较大。 簇：超级结点 每个结点内包含个数较少（如2～8）的处理器； 处理器之间可采用另一种互连技术（例如总线）相互连接形成簇。 8.1 引 言 分布式存储器结构中，地址空间的组织方案 共享地址空间 物理上分离的多个存储器作为一个逻辑上共享的存储空间进行编址。 任何一个处理器可以访问该共享空间中的任何一个单元（如果它具有访问权），而且不同处理器上的同一个物理地址指向的是同一个存储单元。 这类机器的结构被称为分布式共享存储器结构DSM，DSM计算机被称为非均匀存储访问NUMA机器（NUMA: Non-Uniform Memory Access) 8.1 引 言 独立地址空间 整个地址空间由多个独立的地址空间构成，它们在逻辑上也是独立的，远程的处理器不能对其直接寻址。 每一个处理器-存储器模块实际上是一台单独的计算机 现在的这种机器多以机群的形式存在 两种地址空间组织方式下的通信机制 共享地址空间的机器 利用load和store指令中的地址隐含地进行数据通信。 多个地址空间的机器 通过处理器间显式地传递消息来请求某些服务或传输数据，从而完成通信，这样的机器称为消息传递多处理机。 8.1 引 言 例如：一个处理器要对远程存储器上的数据进行访问或操作： 请求方处理器发送消息，请求传递数据或对数据进行操作；在这种情况下，消息可看成是一个远程进程调用（RPC）。 目的处理器接收到消息以后，执行相应操作或代替远程处理器进行访问，并发送一个应答消息将结果返回。 两种消息传递方式 同步消息传递 ：请求处理器发送一个请求后一直要等到应答结果才继续运行。 异步消息传递 ：发送方不经请求就直接把数据送往数据接收方。 8.1 引 言 通信机制的性能指标（3个） 通信带宽 理想状态下的通信带宽受限于处理器、存储器和互连网络的带宽。 通信延迟 理想状态下通信延迟应尽可能地小。 通信延迟＝发送开销＋跨越时间＋传输延迟＋接收开销 跨越时间：数字信号从发送方的线路端传送到接收方的线路端所经过的时间。 传输时间：全部的消息量除以线路带宽。 发送开销和接收开销取决于通信机制及其实现。 8.1 引 言 通信延迟的隐藏 如何才能较好地将通信和计算或多次通信之间重叠起来，以实现通信延迟的隐藏，是一个复杂且困难的问题。 通信延迟隐藏是一种提高性能的有效途径，但它对操作系统和编程者来讲增加了额外的负担。 通常的原则：只要可能就隐藏延迟。 8.1 引 言 不同通信机制的优点 共享存储器通信的主要优点 与常用的对称式多处理机使用的通信机制兼容。 易于编程，同时在简化编译器设计方面也占有优势。 当通信数据量较小时，通信开销较低，带宽利用较好。 通过硬件控制的Cache减少了远程通信的频度，减少了通信延迟以及对共享数据的访问冲突。 消息传递通信机制的主要优点 硬件较简单。 通信是显式的，因此更容易搞清楚何时发生通信以及通信开销是多少，以便编程者和编译程序设法减少通信开销。 8.1 引 言 并行处理面临着两个重要的挑战 程序中的并行性