第八章 并行机中的通信与延迟.docVIP

第八章 并行机中的通信与延迟 第八章 并行机中的通信与延迟 1 8.1引言 1 8.1.1延迟的基本概念 2 8.1.2延迟容忍技术的基本要求和收益上限 5 8.1.3消息传递模型下的各种延迟容忍技术 6 8.2延迟避免 7 8.2.1 放松的一致性模型 7 8.2.2 大块数据传输 9 8.3延迟容忍 12 8.3.1预通信 12 8.3.2多线程 17 8.4延迟减少 26 8.4.1用户级通信技术 26 *8.4.2主动消息实现技术 28 小结 32 习题 32 参考文献 34 本章首先讨论了并行机中与延迟有关的一些基本概念，分析了延迟容忍技术对系统提出的基本要求和收益的上限；接着，简单总结了消息传递模型下的各种延迟容忍技术，详细讨论了更复杂的共享存储模型下的各种延迟容忍技术。我们将这些技术划分为延迟避免、延迟容忍和延迟减少三大类，结合实际应用对各种技术中的不同策略和权衡考虑分别进行了详细的讨论。 8.1引言 微处理器的速度十年以来以超过10倍的速率增长，而存储器（DRAMs）的访问时间只减少了一半。因此，以处理器的时钟周期衡量存储访问的延迟，十年内延迟增长了5倍[1]。多处理器使问题更加严重：在基于总线的多处理机系统中，侦听协议进一步增加了延迟；在分布式存储系统中，网络传输、网络接口和协议处理又被累加到节点访问本地存储的延迟上。高速缓存虽然有助于降低高延迟访问的频率，但它并不是万能的，高速缓存无法减少内部通信。并且，延迟通常随着机器规模的增大而增加，节点愈多则通信量与计算量的比率就更大，而通信所需经过的跳步（Hops）愈多，又可能造成更多的竞争。 前面各章中开发的各种协议的目的都是为了降低长延迟事件的频率和对通信介质的带宽要求，同时仍提供给用户一个方便的编程模型。而底层硬件设计的目标则是在减少数据访问延迟的同时维持较高的可扩放的带宽。使用硬件可以提高带宽，例如使用更宽的链接线路和更优的拓扑结构，但数据访问总是要花时间的。到目前为止，我们已经归纳出了多处理机系统中减少数据访问延迟的三种有效方法，其中前两者与系统有关，后者与应用有关: 优化访存路径以减少每一存储层次的访问时间：这要求谨慎地考虑访问路径上每一步的细节，以使效率最高。处理器－高速缓存接口可以设计成紧耦合的，高速缓存控制器对访问缺失的处理要尽可能快；网络接口可以和节点紧密耦合，并且应设计得能快速的格式化、传输和处理网络事件；而互连网络也应设计得使得选路延迟、传输时间和竞争延迟尽可能小。 重构系统以减少高延迟访问的频率：这实际上就是高速缓存的基本功能。它利用了程序中数据访问模式的空间局部性和时间局部性，使数据尽可能存放在需要访问它的处理器上。 重写应用程序以减少高延迟访问的频率：这包括适当地划分计算以减少内部通信；重构访问模式以增加空间和时间局部性。 这些从系统和应用角度来减少延迟的方法很有好处，但并不充分。除了数据访问和通信，还存在其他一些高延迟事件，如同步等。为此，本章将着重讨论其他一些处理延迟的方法，主要包括： 延迟避免:首先，应该尽可能避免掉延迟。这包括我们在第七章中提到的放松的存储一致性 模型以减少软件DSM系统中的通信；或放松硬件DSM系统中处理器内的所有访存事件的限 制；此外，采用大块数据传输也达到避免延迟的目的。 延迟容忍:如果上述的避免延迟的种种方法不能奏效，那么就不得不采用一些容忍延迟的技 术，包括预通信(预取和预送)和多线程技术。延迟容忍技术的基本思想是当高延迟事件 在进行时，允许处理器执行别的任务甚至进行数据访问和通信。因此，这种基于重叠或 流水线思想的容忍延迟技术的关键是存在足够的并行性，因为重叠的活动之间必须是相 互独立的。容忍延迟技术的成功不仅与应用程序的特性有关，而且也与机器特性有关。 延迟减少:如果关键路径上的延迟既不能被有效地避免掉，也不能被有效地容忍掉，那么我 们仍可以采用一些减少延迟的技术。这些技术包括用户级通信，主动消息和远程写等等。 在做进一步讨论之前，我们有必要先澄清一些基本概念。存储访问或通信操作的延迟包括从处理器发出相应指令到指令执行完成所经历的所有时间。通信延迟包括处理器开销、通信辅助硬件的开销、传输延迟，带宽相关开销和竞争的开销。除数据传输的延迟之外，通信延迟可能还要包括无效和确认消息的延迟。同步延迟是处理器发出一个同步操作（如锁式或路障同步）到该操作被执行所经过的这段时间。假定没有本地存储访问延迟、通信和同步延迟,那么指令延迟就是一条指令从发出到在处理器流水线上完成它所需要的时间。不同的延迟容忍技术适用于不同类型的延迟，本章我们主要讨论通信延迟，但所涉及的各种技术也完全适用于对本地存储、同步和指令延迟的处理，因此对单处理