并行计算多媒体课件并行体系结构lec04performance.pptVIP

任务划分的几种方法(6) Speculative Decomposition: May take one of many possible computational significant branches depending on the output of other computations that precede it. 例子：Parallel discrete event simulation 通信分析 通信分析： 静态/动态通信：不随时间改变或可变的且由运行时所计算的数据决定 静态：如矩阵相乘 动态：如15-puzzle问题。消息传递编程较困难 结构化/非结构化通信：通信图 规整结构（如树、网格等）或任意图 结构化：如 image dithering，2维mesh通信 非结构化：如前面的稀疏矩阵-向量乘。消息传递编程困难 只读/读写： One-way/two-way: Two-way: 通信存在生产者-消费者关系 One-way: 通信只需要一方发起并完成。如只读 局部/全局通信：较少的几个近邻或与很多别的任务通信 同步/异步通信：接收方和发送方协同操作或无需协同 任务组合 任务组合： 增加粒度 ：大量细粒度任务有可能增加通信代价和任务创建代价 表-容效应（Surface-Volume Effect） ：一个任务通信需求比例于它所操作的子域的表面积，而计算需求却比例于子域的容积 保持灵活性 ：可移植性和可扩放性 处理器映射 处理器映射策略：指定任务到哪个处理器上去执行就是映射（Mapping），其主要目标是减少算法的总执行时间，策略有二： 把那些可并发执行的任务放在不同的处理器上以增强并行度； 把那些需频繁通信的任务置于同一个处理器上以提高局部性 负载平衡 ：使得所有处理器完成等量的任务 。 不是简单的任务平均划分，减少同步等待的时间，这包括等待其它进程结束运行的时间和串行执行的代码部分（包括临界区代码和因数据相关造成的串行执行） 递归对剖（Recursive Bisection） 局部算法 概率方法 循环映射（Cyclic Mapping） 并行任务分配 静态调度：任务到进程的算术映射 静态地为每个处理器分配连续的循环迭代 轮转 动态调度：动态调度技术可以取得较好的负载平衡效果 基本自调度SS（Self Scheduling）：每次取一个任务 块自调度BSS（Block Self Scheduling）：每次取k个任务（块） 指导自调度GSS（Guided Self Scheduling） 因子分解调度FS（Factoring Scheduling） 梯形自调度TSS（Trapezoid Self Scheduling） 安全自调度SSS（Safe Self Scheduling） 耦合调度AS（Affinity Scheduling）：分布式任务队列 自适应耦合调度AAS（Adapt Affinity Scheduling） PCA L5 Chp3.* Wu Spring 04 ?USTC Parallel Computer Architecture并行计算机体系结构Lecture 5 Overview Review of Lec4 Benchmark 性能提高（任务划分、分配、调度） Review of Lec4 并行计算机的性能评测 加速比性能定律 并行系统的加速比是指对于一个给定的应用，并行算法（或并行程序）的执行速度相对于串行算法（或串行程序）的执行速度加快了多少倍。 Amdahl 定律 Gustafson定律 Sun Ni定律 可扩放性评测标准 等效率度量标准 等速度度量标准 平均延迟度量标准 Overview Review of Lec4 Benchmark 性能提高（任务划分、分配、调度） 程序级性能评测 基准测试程序（Benchmark） 一组标准的测试程序 提供一组控制测试条件 步骤的规则说明（测试平台环境、输入数据、输出结果和性能指标等 ） 基准测试程序的分类 真实程序 ：C compiler, Text editor, spice 核心程序 : Livermore 24 loops, Linpack 小测试程序 : 皇后问题、排序问题、求素数 合成测试程序 : Whetstone 、Dhrystone 应用：科学计算、商业应用、网络服务、多媒体应用 宏观测试程序（Macro-benchmark）：计算机系统作为一个整体来测试其性能 微观测试程序（Micro-benchmark ：测试机器的某一特定方面的性质 Benchmark Suites 程序级性能评测（cont‘d) 类 型 名 称 意 义 用