高性能集群并行环境安装与配置讲解.pdf

并行环境安装与调试 本文讲解的是基于 Red Hat Enterprise Linux 4 为平台的高性能计算集群安装 与调试，假设你使用过 Red Hat Enterprise Linux 4 并且理解了高性能计算的 原理，所以本文稿的重点讲解如何安装与调试，关于高性能计算的原理请自行 查阅相关的资料。 你可以拒绝学习 但你的竞争对手不会 杰克 . 韦尔奇 QQ MAIL：pcstart@126.com 特洛伊整理 , 转载请保留 , 前言 LINUX 集群中的每个节点都有自己的处理器和内存，运行独立的操作系统，不能直接访 问其他节点的处理器，内存或其他设备。而 MPI 环境却要求这样的访问，这就需要内部网络 和协议的支持。首先，每个节点要能互访，需进行基本网络配置；其次，由于并行计算的特 点，每个节点的计算程序是通常是相同的，只是所分配的计算区间不同。这就需要： （1）高 效率的用户身份验证方法，并且能执行用户发出的计算指令。 （2 ）每个计算节点能够使用载 入同一个计算程序，并能进行相应初始化。对于第一个要求，可通过网络信息服务（ NIS）和 SHELL命令服务（ RSH、SSH）实现。对于第二个要求，可以使用 Linux 的 NFS文件系统实现， 将服务器节点的用户文件让所有计算共享。 所以 NIS、NFS、RSH、SSH是集群的基本网络服务。 1 ．网络信息服务（ NIS ） NIS 是一个简单的客户机 / 服务器数据库系统，提供一个简易网络查询服务。 NIS 是网络 信息系统的简称，包含了网络用户的信息，由数据库与处理程序构成，目的是为网络上所有 机器提供所需信息。数据库建立在服务器上，用于统一管理集群中服务器和节点机的用户信 息，使得一个用户可以登入集群中任何一台节点机，而不需要管理员另外为用户在每台节点 机上设置用户和密码。虽然 NIS 存在一定的安全隐患，但在内部网络，安全问题不大。 2 ．远程 SHELL 命令（ RSH 、SSH ） 基于 MPI 的并行计算需要在每个计算节点启动并行计算任务，用户需要登入每个节点， 然后递交计算任务。不过这通常效率比较低，那么，高效的做法是，不需要登入远程机器， 就可以在远程机器上启动并递交计算任务，而 RSH与 SSH提供了这样的机制。 MPI 安装于服 务器节点，其启动命令包含有在每个可供使用的节点机上启动计算的批处理命令。 NIS 为节 点机接受这样的命令提供身份验证机制，但是，远程 SHELL命令需要由程序来发出和响应。 RSH与 SSH就是这样的程序。命令执行之前，节点机检查服务器是否有权限发出这样的命令。 之后，节点机通过 /etc/hosts.equiv 文件对服务器 IP 做可信赖检查，通过检查，就命令执 行；没通过，则需口令才能执行命令。对于集群来说，做的是高效率的并行计算，无口令登 入，无疑带来了更高的计算效率。 3 ．网络文件系统（ NFS ） 并行任务启动时，需要所有节点都能载入并行计算程序的执行代码。并行计算程序执行 代码文件、输入输出数据文件等必须让所有节点机共享，这可以通过 NFS实现，用户在任何 节点登入，看到的是单一系统印象，感觉不到多台计算机的存在。微机集群一般通过 NFS来 实现文件共享。