并行算法设计曹振南.pptVIP

并行算法的一般设计过程:划分 使用域分解或者功能分解将整个计算分解成一些小的任务，以便充分利用其潜在的并行性和可扩放性。 先集中数据的分解（域分解），然后是计算功能的分解（功能分解），两者互为补充。 要点：计算集、数据集互补相交，以避免数据和计算的复制 并行算法的一般设计过程:划分 划分标准 任务数，是否至少高于目标机上处理器数的一个量级。（灵活性） 是否避免了冗于的计算和存储要求。（扩放） 划分的任务是否尺寸大致相当。（均衡） 任务数是否与问题尺寸成比例。 是否采用了几种不同的划分法，多考虑几种选择可提高灵活性，同时既考虑域分解，又要考虑功能分解。 并行算法的一般设计过程:通信 局部通信vs.全局通信 局部：相邻的任务至今；全局：很多任务参与交换数据 结构化通信vs.非结构化通信 静态通信vs.动态通信 静态、结构化，一任务的通信的伙伴形成规则的不变的模式；非结构化、动态：模式不归整且随时间变化。 同步通信vs.异步通信 同步：双方知道何时进行通信，发送方显示的发给接收 方；异步：不确定，接收方明确地从发送者请求数据。 并行算法的一般设计过程:通信 通信标准 所有任务是否执行大致同样多的通信。(可扩放性) 每个任务是否只与少许近邻通信 猪通信操作是否能并行执行 不同任务的计算能否并行执行 并行算法的一般设计过程:组合 目的：合并小尺寸的任务以减少任务数，理想情况每个处理器一个任务，得到SPMD程序。 增加粒度： 表面-容积效应：通信量比例于子域的表面积，计算比例于容积，通信/计算之比随任务的尺寸的增加而减少。 重复计算（Replication Computation）,也叫冗余计算，有时可用冗余计算来减少通信。 保持灵活性和减少软件成本 并行算法的一般设计过程:组合 组合标准 组合造成的重复计算，是否平衡了其收益？ 造成重复数据，是否已证实不会因限制问题尺寸和处理机数目而影响可扩放性？ 组合产生的任务是否具有类似的计算、通信代价？ 任务数目是否仍与问题尺寸成比例？ 并行计算性能评测 基准测试程序：测试计算机系统的性能 综合型 核心型 数学库 应用型 并行型 并行计算模型 什么是并行计算模型？ 将并行计算机的基本特征抽象出来，形成一个抽象的计算模型，作为并行算法分析、设计、性能预测的基础。 编程模型 计算模型 体系结构模型 机器模型 用户 系统 并行计算模型 PRAM模型(Parallel Random Access MAchine),并行速记存取机器，也叫共享存储的SIMD模型，一种抽象的并行计算模型 容量无限大的共享存储器 有限/无限个功能相同的处理器，具有简单的算术运算和逻辑判断功能； 任何时刻各处理器均可以通过共享内存交换数据 并行计算模型 PRAM模型： 优点：适合于并行算法的表达，分析和比较；使用简单处理器间通信、存储管理和进程同步等细节均隐含于模型中；易于设计算法，且稍加修改即可运行于不同的处理机 缺点：同步模型，不能反映现实中许多系统的异步性；假设每个处理器可在单位时间访问共享存储器的任一单元，忽略了存取竞争和有限带宽等是不现实的；假设处理机有限或无限，对并行任务的增大不加限制。 并行计算模型 BSP(Bulk Synchronous Parallel)模型 处理器/存储器模块，（简称处理器）p 处理器间点对点消息传递的选路器,g 执行以时间间隔L为周期的路障同步器L 计算由一系列用全局同步分开的周期为L的超步(Superstep)组成。在各步中，各处理器均执行局部计算，并通过选路器接收和发送信息；然后做全局检查，确定该步是否已由所有处理器完成：是进入下一超步；否则，下一个L周期分配给为完成的超步。 并行计算模型 BSP模型特点： 处理器与选路器分开，选路器只有点对点的消息传递 路障方式实现的同步在粗粒度，提供了执行紧耦合同步式算法的有效方式 假定局部操作在一个时间步完成，每一超步中，每一处理器至多传送或接收有限条信息 每个PRAM模型所设计的算法，均可在每个BSP处理器上模拟一些PRAM处理器的方法实现。 并行计算模型 logP模型：分布存储的，点到点通信的多处理机模型，通信网络由一组参数来描述，不涉及具体的网络结构，也不假定算法一定用显示的消息传递操作描述。 L(Latency)：网络中消息从源到目的地所遭到的延迟。 O(Overhead)：发送/接收一条消息所需的额外开销。 G(Gap)：处理器可以连续进行消息发送/接收的最小时间间隔。处理器通信带宽的倒数 P(Processor)：处理器/存储器模块数。 L,g:反映网络的容量。L,o,g均可表示为处理器周期的整数倍 并行计算模型 logP模型的特点 表述了分布存储并行机的性能瓶颈。 隐藏了网络的拓扑结构 无需说明编