项目4MPI—面向计算的集群技术详解.pptx

项目四 MPI—面向计算的集群技术 项目内容： 4.1实训一 配置ssh实现节点间无密码访问 4.2实训二 网络文件系统NFS 4.3实训三 mpich编译安装 4.1实训一 配置ssh实现节点间无密码访问 4.1.1实训内容 由于MPI并行程序需要在各节点间进行信息传递，所以必须实现所有节点两两之间能无密码访问。节点间的无密码访问是通过配置ssh证书认证来实现的。配置ssh是集群系统配置的常用操作，MPI、Hadoop等系统均需配置ssh。本实训要求配置ssh实现MPI节点间无密码访问。 4.1.2实训目的 1、了解非对称加密算法； 2、了解数字证书的作用； 3、掌握ssh的使用； 4、掌握ssh无密码访问配置。 4.1.3实训步骤 本实训采用四个节点机组成集群进行环境搭建，每个节点机上安装Linux操作系统，本例子中Linux版本采用的是CentOS6.5（64位）。 为每个节点机分配好IP地址，本节点机使用的IP地址分别为：11、12、13、14，对应节点主机名为：node1、node2、node3、node4。 步骤1：创建用户，在四台节点机分别创建用户mpi，uid=600，设置mpi用户无密码相互访问，密码分别为mpi1111,mpi2222,mpi3333,mpi4444。操作命令如下： 步骤2：生产证书，打开node1节点机，以用户mpi登录。操作命令如下： 或者以root登录后使用命令su 切换到mpi用户。操作命令如下： 步骤3：使用ssh-keygen生成证书密钥，证书密钥有两种算法：dsa和rsa。操作命令如下： 执行后，显示如下信息，按回车就可以。操作信息如下： 步骤4：使用ssh-copy-id分别拷贝证书公钥到node1，node2，node3，node4节点机上。操作命令如下： 第一次拷贝需要输入“yes”；再输入密码后拷贝，下面是拷贝公钥到节点机node1的提示信息。 步骤5：分别使用ssh登录node1、node2、node3、node4测试，测试ssh无密码登录node1和node2。操作命令如下： 步骤6：使用scp分别拷贝证书私钥到node2，node3，node4节点机上，实现相互无密码登录。操作命令如下： 步骤7：测试相互登录，在node2节点机上测试ssh登录node3节点机，第一次等需要输入“yes”，其他测试相同。如下所示： 第二次登录不需要输入“yes”。 退出使用命令：exit 或 按 CTRL+D 或 logout 。 至此，ssh无密码相互登录配置成功。 4.2实训二 网络文件系统NFS 4.2.1实训内容 由于MPICH的安装目录和用户可执行程序在并行计算时需要在所有节点存副本，而且目录要相互对应，每次一个节点一个节点地复制非常麻烦，采用NFS（Netword File Systom，网络文件系统）后可以实现所有节点内容与主节点内容同步更新，并自动实现目录的对应。NFS使得所有机器都能以同样的路径（假设为/home/mpi）访问服务器上保存的文件，访问方法如同对本地文件的访问。这对于部分采用MPI进行并行计算的用户来说可能是必须的，通常我们会将MPICH的安装目录及并行程序存放目录配置为NFS共享目录，这样可以省去将文件向各个节点复制的麻烦，大大提高工作效率。 本实训完成NFS安装配置与挂载，节点机node1设为NFS服务器，设置共享目录/home/mpi，可读写。节点机node2、node3、node4为客户机，共享NFS服务。 4.2.2实训目的 1、了解NFS服务器的基本概念； 2、掌握NFS服务器的配置方法； 3、掌握NFS服务器的访问。 4.2.3实训步骤 步骤1：检查系统是否安装nfs-utils和rpcbind两软件包，下面表示系统已经安装了软件包。操作命令如下： 如果没有安装，则安装命令如下： 步骤2：编辑配置文件“/etc/exports”。操作命令如下： 编辑内容如下： rw表示读写，sync表示同步操作，no_all_squash表示远程普通用户不映射到nfsnobody。 步骤3：启动rpcbind服务和nfs服务。如果服务已经启动，则不提示信息。操作命令如下： 如果服务原先没启动，则显示内容如下： 步骤4：使用exportfs命令，对NFS服务进行一些操作。 1）输出所有目录。操作命令如下： 2）重新输出共享目录。操作命令如下： 3）停止输出所有共享目录。操作命令如下： 步骤5： 查看NFS服务器共享。 1）查看共享目录。操作命令如下： 2）查看客户机或IP地址及其在主机中的目录。操作命令如下： 步骤6：分别在node2，node3，node4节点机上挂载nfs共享目录，参数“-t nfs”可以省略。操作命令如