计算化学集群服务器简明使用指引-VLCC.PDF

计算化学集群服务器简明使用指南 v1.10 (2009-6-17) 一、系统环境 1）硬件环境： 头结点一个，机器名 /console/node00 ，双路四核Intel Xeon E5320 处理器，1.86G 主频，2*4M 缓存，4G 内存，6 块 400G SATA 硬盘， Raid5 。 计算结点八个，机器名 node01-node08 双路双核 AMD Opteron 2220 处理器， 2.8G 主频，2*1M 缓存，node01-node04 四个结点为8G 内存，node05-node08 四个 结点为 4G 内存，一块300G SATA 硬盘。 结点间通过 2 套以太网络进行连接，一条为千兆网，用于计算数据和文件系统，另 一套为百兆网，用于管理通讯。 2）软件环境： CentOS 5.1 x64 操作系统，内核版本 2.6.18-53.el5 。 GNU/Intel C/C++/Fortran 编译器。 MPICH1/MPICH2/IntelMPI/OpenMPI 并行编程环境。 Intel MKL/IPP 数学函数库。 Torque 作业资源管理系统。 Ganglia 集群监控系统。 ）文件系统： node01-node08 通过 NFS 挂载 console 的/opt 和/home 目录，node01- node08 本地磁盘空间尚未被利用。因此本集群 I/O 性能并不可靠，建议不要在该集群上运 行会造成大规模 I/O 的程序。 二、编译环境 目前在计算化学集群服务器上推荐使用的编译器及 MPI 并行环境为以下几种组合： 1. Intel C++/Fortran EM64T 编译器和 MPICH2; 2. Intel C++/Fortran EM64T 编译器和 IntelMPI; 3. Intel C++/Fortran EM64T 编译器和 OpenMPI 。 在每个用户主目录下有一个名为.compenv 的隐藏文件，该文件保存着用户的编译环境 配置。如该文件被删除或不存在（比如新用户），则在下次登录时会自动执行配置脚本，重 新配置编译环境。配置时根据提示选译上述对应的编译器和 MPI 实现版本的选项即可（上 述 项分别对应于选项 1-2/1-3/1-4，注意不要选错）。 （注：在Windows 有的终端工具在自动执行配置脚本时不出现界面，出现登录僵死状 态，如 Xmanager ，这时可先使用其它工具如putty 登录，配置好之后再用原来工具登录 则不会出现问题。） 登录后如需临时更改编译环境，可执行： source /opt/cluster/sccas/config-compenv 执行上述语句后，当前编译环境被改变，但在下次登录时仍然保留原有配置。如需永久 改变编译环境，可以删除主目录下的.compenv 文件，或是执行: source /opt/cluster/sccas/config-compenv -o ~/.compenv 要验证当前并行编译环境，可执行以下一些命令进行判断： which mpicc （检查所使用的MPI 实现版本） mpicc -show （检查MPI 编译器绑定所使用的编译器） 三、作业提交运行 计算化学集群服务器上目前安装的是 Torque 资源管理系统，该系统是著名的开源系统 OpenPBS 的后续开源版本（PBS Pro 是 OpenPBS 的商业化版本），命令基本兼容于 OpenPBS 和 PBS Pro 。Torque 资源管理系统的官方网站是： /pages/products/torque-resource-manager.php 在该网站上可以下载该软件的源码和配置使用文档。如需进一步了解，可自行进行下载 阅读学习。 下面简单说明如何在计算化学集群服务器上使用 Torque 提交运行作业： 1）作业脚本 在 Torque 中，作业脚本用来描述运行作业（程序）所需执行的命令和程序，也可以用 来配置该作业的参数（参数一般在提交作业时通过命令行直接指定）。用户通过使用 qusb 提交该作业脚本，使脚本文件中所写的程序和命