TeslaGPU集群服务器使用手册.PDFVIP

Tesla GPU 集群服务器使用手册 v0.93 (2010-1-11) 一、系统环境简介 Tesla GPU 集群服务器域名为 ，IP 地址为 6 （暂定）， 内部用户可以在办公网内直接使用SSH 登录该集群，外部用户同样需要经过防火墙身份认 证之后（认证过程请参见 《深腾7000 远程登录指南》）再进行 SSH 登录。数据的上传与 下载仍然是通过 scp 或者 sftp 方式进行。Tesla GPU 集群服务器的系统环境如下： 1）硬件环境： ● 头节点 1 个，机器名 console ，配备一颗Intel Xeon E5504 四核处理器，2.0GHz 主频，2*4MB 缓存，8G 内存，6 块 300GB SAS 硬盘，工作于 Raid5 模式。 ● 计算节点 90 个，存在两种不同硬件配置，其机器名分别如下： c0101-c0110 、c0201-c0203 、c0301-c0305 （共18 个节点） 以上节点配置一颗 AMD Phenom 9850 四核处理器，2.5GHz 主频，4*256KB 二级缓存，4MB 三级缓存，3 块 Tesla C1060 GPU 处理器，8GB 内存，一块500GB SATA 硬盘。 c0204-c0233 、c0401-0442 （共72 个节点） 以上节点配置一颗 Intel Xeon E5410 四核处理器，2.33GHz 主频，2*6MB 二级 缓存，2 块 Tesla C1060 GPU 处理器，8GB 内存，一块500GB SATA 硬盘。 各节点间通过 DDR 4X Infiniband 高速网络和千兆以太网进行连接，分别用于计 算数据和系统管理信息的通讯。 2）软件环境： RHEL 5.3 x64 操作系统，内核版本 2.6.18-128.el5 。 GNU C/C++/Fortran 编译器。 Nvidia CUDA T lkit 2.1 开发工具。 Mvapich/OpenMPI 并行编程环境。 Atlas/GotoBlas 数学函数库。 Torque/Maui 资源管理系统及作业调度器。 Ganglia 集群监控系统。 3）文件系统： 除 console 外所有节点通过 NFS 挂载 console 的/export 目录，包括console 在 内的所有节点的/home 目录为/export/home 目录的软链接。由于文件系统性能不高，建 议不要在该集群上运行会造成大规模并行或复杂 I/O 的应用程序。 二、程序开发及调试环境 1）基本编译环境 目前在 Tesla GPU 集群上各节点均提供用于编译通用程序代码的 GCC 编译器，能够编 译 C／C++／Fortran 程序，对应的命令为 gcc/g++/gfortran ，该编译器为系统默认安装， 安装路径位于/usr 下。 另外在所有计算节点（不包括 console）可以使用 Nvidia CUDA T lkit 开发工具包 提供的用于编译 CUDA GPU 加速程序 CUDA 编译器，对应的命令为 nvcc 。Nvidia CUDA T lkit 安装在/export/cuda 下，在计算节点上不用再另外设置环境变量，console 上无法 使用 。 2）并行程序编译环境 Tesla GPU 集群上安装了两套开源 MPI 编译并行环境，即 Mvapich 和 OpenMPI ，用 户需要在自己主目录下建立名为.mpi_type 文件（该文件为隐藏文件），在文件中指明使用 哪套并行环境。如果该文件不存在或不合法，系统将默认使用 Mvapich 并行编译环境。 ~/.mpi_type 文件示例如下： #Here we set openmpi environment. MPITYPE=”openmpi” （注：修改完.mpi_type 文件之后，需要退出并重新登录系统才能使设置生效） 要查看当前并行编译环境设置是否生效，可以简单的执行“which mpicc”并通过返回 信息中的路径来进行判