高等计算机系统结构培训课件.pptVIP

通信延迟d的计算： P1 存储器 DMA DMA P2 存储器 T1 T2 T3 T4 T5 串行链路 其中，T3是32位在20Mbps下的传输时间，折合成M68000的周期，T6是由于软件协议的延迟（假定用5条Move指令，共100个周期）。 细粒度的程序图如下： A B C D E F G H d d d d d d d d J K L M d d d d N O P d d SUM 细粒度的顺序调度方案如下： P1 A B 0 202 101 C D 404 303 E F 606 505 G H 808 707 J K L M N O P 816 824 832 840 848 856 864 808 共需864个周期。 细粒度的并行调度方案如下（8处理器）： P1 A B 0 313 101 C D 321 ?=101 E F 531 523 G H 751 743 J K L M N O P P2 P3 P4 P5 P6 P7 P8 I I I I I I 图中的阴影部分为通信延迟 I表示处理机空闲 ?=8 d=212 ?=8 d=212 ?=8 d=212 使用8个处理机进行并行调度，共需751个周期。 和顺序调度相比，获得的加速比为: 采用粒度组合减少通信开销： A B C D E F G H d d d d d d d d J K L M d d d d N O P d d SUM V W X Y Z 通信延迟为： 各结点粒度为： 程序图中最大并行度已降为4，所以只需要用4台处理机执行此粗粒度程序即可。 上述调度方案只用了 第四章 划分与调度 4.1 粒度划分与组合 4.2 负载平衡 4.2.1 负载平衡及其分类 4.2.2 负载分配算法的构成 4.3 程序流机制 4.2 负载平衡 4.2.1 负载平衡的定义及其分类 问题背景：并行计算机的进程数目超过了可用的处理机数。 负载的度量：CPU时间、通信时间、存储器用量、并发进程数等等。 什么是负载平衡（Load Balance）？ 1. 静态的负载平衡 针对应用程序中的各种信息（如各个任务的计算量大小、依赖关系和通信关系）以及并行系统本身的状况（如网络结构、各处理结点计算能力）对应用程序中的并行任务作出静态的分配决策，在运行该程序的过程中依照事先的分配方案将任务分配到相应结点。 问题是任务负载是动态产生的，很难准确预测。这种方法只用于理论推导而很难用于实际。 2. 动态的负载平衡 在应用程序运行过程中实现负载平衡，通过分析并行系统的实时负载信息，动态的将任务在多处理机之间进行分配和调整。 4.2.2 负载分配算法的构成 1. Transfer Policy（传送策略） 用来确定一个结点是否进行任务传送。 常用的是阈值（Threshold policy）。把结点分成忙碌和空闲两类，某个结点的负载低于阈值即为空闲，高于阈值为忙碌。如果阈值设置过低，负载量人为的很高；如果阈值设置过高，结点事实上已经支持过重的计算，但表面上仍显得空闲。 如结点上产生了一个新的任务，使负载超过了阈值，则可认定此结点为Sender，如负载低于阈值，则可认为此结点是可接收远程任务的Receiver。 2. Selection Policy（选择策略） 在Transfer Policy确定Sender后，选择策略即去选哪一个任务进行传送。最简单的办法是选定最新使该结点成为可发送结点的那个任务。 3. Location Policy（定位策略） 用来确定传送任务应该传送给哪一个结点。一般所用的方法为Polling，可串行做或并行进行（multicast），可随机进行，即根据以前收集的信息随机进行或按照近邻方式进行。也可以广播方式进行。 4. Information Policy（信息收集策略） 负责确定何时应该从系统中的其它结点收集信息，从何处收集信息，以及收集什么信息。Demand-driven：在一个结点被确定为Sender或Receiver后，即去收集其它结点的信息。 5.三种启动方式 （1）Sender-initiated：发送者启动，即忙碌结点启动负载平衡，适合于轻负载。过程如下： a. Sender广播Too-High消息，将Too-High的超时标志Timeout置位，开始收听Accept消息，直到超时结束。 b. Receiver接收Too-High消息，撤除Too-Low的超时标志Timeout，发送Accept消息给Too-High源结点，增加负载值并设置Awaiting Task Timeout。如超时后仍然没有收