第二讲并行计算基本概念.PDFVIP

国防科学技术大学并行与分布处理重点实验室 国防科学技术大学并行与分布处理重点实验室 第二讲:并行计算基本概念 并行算法的定义与分类 并行算法中的基本概念 并行计算模型 并行算法的复杂性 国防科学技术大学并行与分布处理重点实验室 国防科学技术大学并行与分布处理重点实验室 并行算法的定义与分类 算法是解题步骤的精确描述 并行计算是可同时求解的诸进程的集合， 并行算法就是对并行计算过程的精确描述 并行算法的分类 按所处理问题的类型划分：数值计算并行 算法和非数值计算并行算法 按进程间的同步方式划分：同步并行算法 和异步并行算法 按针对的底层逻辑体系结构划分：共享存 储并行算法和分布存储并行算法 2006-10-9 2 国防科学技术大学并行与分布处理重点实验室 国防科学技术大学并行与分布处理重点实验室 数值算法与非数值算法 数值计算是指基于代数关系运算的计算问题， 求解数值计算问题的算法称为数值算法。 数值计算问题的例子：计算物理等。 非数值计算是指基于比较关系的运算， 求解非数值计算问题的算法称为非数值算法。 非数值计算在符号类信息处理中获得广泛应 用，如数据库领域的计算、海量数据挖掘。 近年来广泛关注的生物信息学主要也是非数 值计算 2006-10-9 3 国防科学技术大学并行与分布处理重点实验室 国防科学技术大学并行与分布处理重点实验室 同步并行算法和异步并行算法 同步并行算法 进程间必须相互等待的并行算法 线性方程组迭代法中内积与范数的计算都是同步点 异步并行算法 进程间的执行完全独立，不需要相互等待 例如，解对称正定线性方程组的混乱松弛法，可参考 吴建平，王正华，李晓梅，稀疏线性方程组的高效 求解与并行计算，长沙：湖南科学技术出版社， 2004 张宝琳, 谷同详, 莫则尧. 数值并行计算原理与方 法. 北京: 国防工业出版社, 1999 2006-10-9 4 国防科学技术大学并行与分布处理重点实验室 国防科学技术大学并行与分布处理重点实验室 共享存储并行算法和分布存储并行算法 共享存储并行算法 以共享存储并行机为逻辑体系结构而设计的并 行算法 当然也可以在分布共享并行机上执行 基于软件如扩展到机群的OpenMP的支持，也可 以在分布存储并行机上执行 分布存储并行算法 以分布存储并行机为逻辑体系结构而设计的并 行算法 现在一般也可以在共享存储机器上执行