并行算法第三章并行算法的设计基础.pptVIP

第三章 并行算法的设计基础 3.1 并行算法的基础知识 3.2 并行算法的复杂性度量 3.3 并行算法中的同步与通信 3.4 并行计算模型 * 3.1 并行算法的基础知识 并行算法的定义 算法： 解题方法的精确描述，是一组有穷的规则，它们规定了解决某一特定类型问题的一系列运算。 并行算法： 一些可同时执行的诸进程的集合，这些进程互相作用和协调动作从而达到给定问题的求解。 * 并行算法的分类 数值计算：基于代数关系运算的一类 非数值计算：基于比较关系运算的一类 同步算法：算法的多个进程的执行必须相互等待 异步算法：算法的多个进程的执行不需要相互等待 分布算法：由通信链路连接的多个节点，协同完成问题  求解的一类并行算法 确定算法：算法的每一步都能明确地指明下一步应该如  何行进的一类算法 随机算法：算法的每一步随机地从指定范围内选取若  干参数，由其来确定算法下一步的走向 * 并行算法的特点 对并行处理机的使用效率有直接影响 100%的向量计算，速度达1亿次/秒 75%的向量计算，速度达1400万次/秒 10%的向量计算，速度达400万次/秒 对并行计算机有较强的依赖性 处理机的连接方式 存储器是否共享 非共享存储器之间的连接 存储器与处理机之间的连接 * 并行算法的表达 描述语言 可以使用类C、类Pascal等 在描述语言中引入并行语句 并行语句示例 Par-do语句 for i=1 to n par-do …… end for for all语句 for all Pi, where 0≤i≤k …… end for * 3.2并行算法的复杂性度量 时间复杂度 运算次数 问题的规模 问题输入数据的度量 空间复杂度 存储占用，处理机台数 * 时间复杂度 定义：如果一个问题的大小为n，解决此问题的某一算法所需的时间为T(n)，则称T(n)为算法的时间复杂度 一般而言，我们关心的是n充分大时的复杂度，此时它与渐近复杂度相差不多，经常使用上界、下界、紧致界的概念 * 时间复杂度 上界： 令f(n)和g(n)是定义在自然数集合N上的两个函数，如存在两个正常数c和n0，使得对于所有n? n0均有f(n)?cg(n)，则称g(n)是f(n)的一个上界，记作f(n)=O(g(n)) 例： 4n=O(n) 5n2=O(n2) * 时间复杂度 下界： 令f(n)和g(n)是定义在自然数集合N上的两个函数，如存在两个正常数c和n0，使得对于所有n? n0均有f(n) ? cg(n)，则称g(n)是f(n)的一个下界，记作f(n)=?(g(n)) * 时间复杂度 紧致界： 令f(n)和g(n)是定义在自然数集合N上的两个函数，如存在两个正常数c1，c2和n0，使得对于所有n? n0均有c1g(n) ? f(n) ? c2g(n)，则称g(n)是f(n)的一个紧致界，记作f(n)=?(g(n)) 我们衡量算法的复杂度用上界，即最坏情况下的复杂度： O(1)O(logn)O(n)O(nlogn)O(n2)O(2n)O(n!)O(nn) * 计算复杂度对计算时间的影响 当代计算机速度以惊人的变化增长，人们误认为算法的好坏对计算时间的影响不会太大，计算复杂性不重要，但事实不是如此。 例：求解一个规模为n的问题 算法A1:O(n) A2:O(2n) 问题的计算规模n=60时，用A1需要0.0006s 用A2需要366世纪 * 并行计算性能评估中的几个参数 加速比Sp:Sp=T1/Tp 效率Ep：Ep=Sp/p 并行计算的成本Cp:Cp=Tp*p 冗余度Rp:Rp=Ap/A1 Ap：在p个处理机上并行算法的总执行次数 A1：串行算法的总执行次数 速效积Fp:Fp=Sp*Ep=Sp2/p 既反映了加速比也反映了效率 * 并行计算性能评估中的几个参数 例：计算y=a+bx+cx2+dx3在单机上，采用Horner法，公式为y=a+x(b+x(c+xd))。 * 3.3 并行算法中的同步与通信 同步 对于在共享存储结构并行机上实现并行算法，如果多个节点同时读或同时写某个共享变量时，必须设定相关同步技术 同步是在