并行计算基础知识讲座.pptVIP

编译运行命令mpif77–oexamexam.fmpirun–np4exam其中，exam.f指需要编译的源文件，－o表示生成输出文件，exam指输出文件名，－np表示进程数。使用mpicc和mpif77省略了有关MPI的路径设置第29页，共50页，星期日，2025年，2月5日第30页，共50页，星期日，2025年，2月5日什么可以并行能否将顺序执行的程序转换成语义等价的、可并行执行的程序，主要取决于程序的结构形式，特别是其中的数据相关性。第31页，共50页，星期日，2025年，2月5日P1：A＝B+CP2：D＝A×B其中，变量A是导致P1和P2发生数据相关的原因。为了保证程序执行的语义正确性，变量A必须是先在P1中写入后方可从P2中读出，即必须先写后读。显然，P1和P2不能并行执行。数据相关第32页，共50页，星期日，2025年，2月5日数据反相关P1：A＝B×CP2：C＝E+DP1通过变量C数据相关于P2。为保证语义正确性，必须等P1将变量C读出后，P2方可向变量C进行写入操作，即必须先读后写。也不可并行化第33页，共50页，星期日，2025年，2月5日数据输出相关P1：A＝B+CP2：A＝D×E为保证语义正确性，必须保证P1先写入A，然后允许P2再写入A。除了上述3种相关外，还存在一种特殊情况，即两个程序段的输入变量互为输出变量。此时，两者必须并行执行，方可保证语义的正确性。这就要求硬件机构能保证两者进行同步读写。但若两个处理机各带有局部存储器，则可降低同步要求。第34页，共50页，星期日，2025年，2月5日相关性与可并行化伯恩斯坦准则I1∩O2＝Φ，即P1的输入变量集与P2的输出变量集不相交；I2∩O1＝Φ，即P2的输入变量集与P1的输出变量集不相交；O1∩O2＝Φ，即P1和P2的输出变量集不相交可并行处理第35页，共50页，星期日，2025年，2月5日第1页，共50页，星期日，2025年，2月5日主要内容并行计算环境并行算法基础什么问题可以并行化串行程序如何改为并行程序第2页，共50页，星期日，2025年，2月5日为什么需要并行计算机问题:科学和工程问题的数值模拟与仿真计算密集数据密集网络密集三种混合要求:在合理的时限内完成计算任务秒级 制造业分钟级 短时天气预报(当天)小时级 中期天气预报(3~10日)尽可能快 长期天气预报(气候)可计算 湍流模拟第3页，共50页，星期日，2025年，2月5日什么任务适合在超级计算环境内运行？一般来说，计算量极大而使PC不能满足要求或者根本不能计算的任务是适合在超级计算环境中运行的。比如，（1）需要分布式并行处理的科学计算任务，包括：由于对计算资源要求过大而使现在的硬件条件无法满足要求的计算任务，通过将串行源代码改编为并行源代码来进行计算，或者有通行的并行计算程序（商业或非商业）；（2）虽然可以计算但是时间过长的问题等。第4页，共50页，星期日，2025年，2月5日并行计算机的分类并行向量机（PVP）对称多处理共享存储多处理机（SMP）大规模并行处理机（MPP）工作站（微机）机群（COW）分布式共享存储多处理机（DSM）第5页，共50页，星期日，2025年，2月5日COW(ClusterofWorkstation)一个节点可以是一台PC或SMP；各节点一般由商品化的网络互连；机群节点通过使用标准网络协议（TCP/IP）来通信。使用的是千兆网。每个节点一般有本地磁盘；节点上的网络接口是松散耦合到I/O总线上；每个节点有一个完整的操作系统,但是通过中间层实现了单一系统映像（SSI）。第6页，共50页，星期日，2025年，2月5日单一系统映像单一系统映像（SingleSystemImage，SSI）并不是指系统中仅有唯一的操作系统映像驻留在内存，而只是感觉上，像一个单一系统。其基本特征是单一系统、单一控制、对称性、位置透明。采用SSI的主要目的，是使机群的使用、控制和维护似乎和一台工作站一样。单一系统映像包括单一入口点、单一文件层次结构、单一I/O空间、单一网络、单一作业管理系统、单一存储空间和单一进程空间。第7页，共50页，星期日，2025年，2月5日定制网络P/CMBMBLDNICIOBP/CMBMBLDNICIOB第8页，共50页，星期日，2025年，2月5日第9页，共50页，星期日，2025年，2月5日并行机软件环境操