云计算与大数据技术王鹏黄焱安俊秀张逸琴第5章-MPI—面向计算上课用课件.ppt

云计算与大数据技术 目 录 第1章　 云计算与大数据基础 第2章　 云计算与大数据的相关技术 第3章　 虚拟化技术 第4章　 集群系统基础 第5章　 MPI—面向计算 第6章　 Hadoop—分布式大数据系统 第7章　 HPCC—面向数据的高性能计算集群系统 第8章　 Storm—基于拓扑的流数据实时计算系统 第9章　 服务器与数据中心 第10章 云计算大数据仿真技术 第5章　MPI—面向计算 《云计算与大数据技术》 第5章　 MPI—面向计算 5.1　什么是MPI 5.2　MPI的架构和特点 5.3　MPICH并行环境的建立 5.3.1　配置前的准备工作 5.3.2　挂载NFS 5.3.3　配置ssh实现MPI节点间用户的无密码访问 5.3.4　安装MPICH2 5.3.5　建立并行计算环境时的注意事项 5.4　MPI分布式程序设计基础 5.4.1　最简单的并行程序 5.4.2　获取进程标志和机器名 5.4.3　有消息传递功能的并行程序 5.4.4　Monte Carlo法在并行程序设计中的应用 5.4.5　并行计算中节点间的Reduce操作 5.4.6　用MPI的6个基本函数实现Reduce函数功能 5.4.7　设计MPI并行程序时的注意事项 5.1　什么是MPI 5.1　什么是MPI 大量的云计算系统是基于集群系统的并行计算系统，了解并行计算技术，熟悉在集群条件下的工作环境是学习云计算的重要基础，MPI为我们提供了了解集群之间通信机制的一种重要模型，从这一节开始我们进入并行计算环境，这是迈入云计算时代的第一步，熟悉在并行环境下的工作方式对我们理解云计算是有益的。 5.1　什么是MPI MPI (Message Passing Interface,消息传递接口)，于1994年5月标准的1.0版本诞生。 2012年发布了MPI3.0，MPI标准描述是是一种消息传递编程模型，并成为这种编程模型的代表和事实上的标准，MPI本身并不是一个具体的实现，而只是一种标准描述，MPI库可以被FORTRAN77/C/Fortran90/C++调用。 消息传递机制使服务器之间能有机的结合在一起形成一个更大的计算资源池，通过消息通信机制服务器之间能进行数据交换从而实现对计算任务的相互协作。 5.1　什么是MPI 目前在高性能计算领域MPI也是事实上的标准，许多超级计算机上都安装了符合MPI标准的软件平台。 大量的计算软件也是基于MPI完成的，如也纳大学Hafner小组开发的进行电子结构计算和量子力学-分子动力学模拟软件包VASP（Vienna Ab-initio Simulation Package），它是目前材料模拟和计算物质科学研究中最流行的商用软件之一，大量的科研机构都在采用此软件，并因此诞生了一门新的学科计算材料学。 MPI标准的相关知识可参考其官方论坛 / 5.1　什么是MPI MPICH是MPI标准的一个最常用的开源实现，其版本基本与MPI标准基本同步，MPICH的开发主要是由Argonne National Laboratory和Mississippi State University 共同完成的一个MPI的具体实现，目前常用版本为MPICH2（版本号0.9-1.5），最新版本为MPICH 3.0 。 相关软件与说明书可在其官方网站免费下载：/ 5.2　MPI的架构和特点 5.2　MPI的架构和特点 云计算的定义中计算资源池的形成是十分重要的一项技术，MPI的核心工作就是实现大量服务器计算资源的整合输出，MPI为分布式程序设计人员提供了最大的灵活性和自由度，但随之而来的代价是编程的复杂性，程序设计人员需要自己实现任务在节点中的分配，并保证节点间的协调工作，当面对上千个节点的分布式系统时这种编程模式会成为程序员的噩梦。 目前MPI的应用领域主要还是科学计算领域，但这种分布式计算机制却在后来的云计算系统中得到了或多或少的体现。 5.2　MPI的架构和特点 总的看来MPI具有以下的特点: （1）程序编写灵活，功能强大。 MPI为分布式程序设计人员提供了功能强大的消息通信函数，如阻塞通信、非阻塞通信、组通信、归约、自定义数据类型等。程序设计人员能在上面较为灵活的实现算法的并行化工作。 （2）能支持多种编程语言。 MPI目前能支持FORTRAN77/C/Fortran90/C++等语言的调用，能满足大多数科学计算的应用需要。 5.2　MPI的架构和特点 （3）MPI对计算的支持强大，但对文件的支持较弱。 MPI设计的初衷就是为了计算密集的任务定制的，是面向计算时代的典型技术，其对计算的支持十分强大; 但MPI自身没有与之相融合的分布式文件系统，数据在M