365-第六章 并行处理技术知识讲稿.ppt

组合判据 增加粒度是否减少了通信成本？ 重复计算是否已权衡了其得益？ 是否保持了灵活性和可扩放性？ 组合的任务数是否与问题尺寸成比例? 是否保持了类似的计算和通信？ 有没有减少并行执行的机会？ PCAM设计方法学 映射 每个任务要映射到具体的处理器，定位到运行机器上； 任务数大于处理器数时，存在负载平衡和任务调度问题； 映射的目标：减少算法的执行时间 并发的任务 ? 不同的处理器 任务之间通信量大的 ? 同一处理器 映射实际是一种权衡，属于NP完全问题 PCAM设计方法学 映射判据 采用集中式负载平衡方案，是否存在通信瓶颈？ 采用动态负载平衡方案，调度策略的成本如何？ PCAM设计方法学 MIMD所带来的其它相关问题 编译问题 如何在编译过程中自动的开发程序的并行性？ 如何在编译过程中自动的分配数据？ 调试问题 由于各个处理器（处理结点）按照自身的时钟执行程序，因此程序的执行过程变得异常复杂。如何确定程序的异常行为？ 编程模型问题 Tss Tsd 软件开销 传统互连接口性能的主要瓶颈： 同一数据反复拷贝，极大增加消息发送的时间。许多研究都表明，数据拷贝占整个发送、接收时间的 65％。 TCP/IP等上层复杂协议管理机制，不但增加了消息收发的开销，而且占用了大量的CPU资源和存储资源。研究表明，在连接以太网的主机上，35％的通信时间都消耗在TCP/IP的协议处理开销和操作系统的开销之上。 由于协议处于操作系统核内，因此用户程序在发送和接收消息时，操作系统在用户态与核心态之间进行切换频繁，增加了开销。 软件开销 提高互连接口性能的手段: (1)?减少数据拷贝次数，实现一次数据拷贝，即用户发送数据直接由用户空间拷贝到接口硬件的缓冲区中，接收的数据直接由接口硬件缓冲区拷贝到用户接收缓冲区中。 (2)?简化TCP/IP协议，降低处理开销。复杂的TCP/IP所具有的许多功能是不必要的，必须以精简的消息层、网络层替代。 (3)?增强接口硬件的协议处理功能。将上层协议功能由接口板上的快速处理器或专用处理芯片来承担，降低CPU在网络通信处理上的开销。 软件开销 小结 减小通信时延是提高高性能计算机性能的一项非常关键的技术，其手段大体上有硬件和软件两种。 硬件上：对于通信网络可以通过改进拓扑结构、提高通信速度的手段实现；对于节点可以使用高速缓存、超线程技术等。 软件上：可以通过精简和优化协议改善通信过程的软件开销；同时在更高的层次上，可以通过改善任务划分和处理器的分配，以及适量的任务复制（即在不同节点上执行相同的任务）达到通信时延隐藏的效果。 互连与通信的问题 2、编程模型问题 如果能对计算机的系统结构进行高度的抽象，给出一个简洁的概念模型，那么，程序员在编写程序时，就不需要了解硬件结构的具体细节。这种抽象模型就是我们所说的编程模型。 并行处理的基本问题 从用户角度看，一个理想的抽象模型应与一台工作站或PC给用户的映象接近， 因而可以使用我们最熟悉的传统的编程方式 ： 编程模型问题 RAM File System CPU 就并行计算机而言，除了计算单元以外，通信体系结构也是非常重要的一个方面。在为并行计算机编写程序时，就不得不考虑到不同节点上不同进程之间的通信问题，而这是一项非常复杂的工作。 因此，在并行编程模型中，就必须对节点之间的通信、同步、协作等各种问题给出很好的定义。共享地址空间、消息传递以及数据并行是最常见的三种并行编程模型。 编程模型问题 共享存储：具有统一的地址空间。 编程模型问题 分布式存储：每个处理器的地址空间单独编址。 “大厅式” “包间式” 例：假设有两台4节点的的多机系统，一台为共享存储，另一台为分布式存储，计算矩阵乘 A?B = C。 编程模型问题 P0 P1 P3 P2 Shared Mem P0 P1 P3 P2 LM LM LM LM LM 1）、共享存储 将矩阵A按行逻辑的均匀分为4块，矩阵B按列逻辑的均匀分为4块，均存放在共享存储器中。 编程模型问题 A = (A0，A1，A2，A3)T B = (B0，B1，B2，B3) A0 A1 A2 A3 B0 B1 B2 B3 ? C00 C01 C02 C03 C10 C11 C12 C13 C20 C21 C22 C23 C30 C31 C32 C33 = 节点机 Pi 上程序执行步骤： K = i ，j=0； 各节点计算 Ai ? Bk； K = K+1 mod 4； j++； 如果j4, goto 2； 编程模型问题 编程模型问题 A0 A1 A2 A3 B0 B1 B2 B3 Shared Memory