曙光集群管理使用书册V.docVIP

曙光高性能集群使用手册 2010-3-20 目录 一、 曙光高性能集群概况 2 二、 用户管理 4 2.1. 添加用户 4 2.2. 删除用户 4 2.3. 系统自动同步用户信息 4 2.4. 设置用户磁盘配额 4 三、 作业调度管理 6 3.1. 队列管理 6 3.2. 用户权限控制 7 3.3. 作业记账功能 8 四、 软件使用 9 4.1. 编译器 9 4.2. 数学库 9 4.3. MPI并行库 10 4.4. VASP 11 4.5. WIEN2K 13 4.6. ABINIT 15 曙光高性能集群概况 曙光高性能集群共有40台CB-85刀片计算节点，1台登录管理节点，一套磁盘整列提供存储。提供3套互联网络：千兆管理网用于集群管理和用户登录；千兆计算网作为辅助计算网络也兼作管理网；InfiniBand高速计算网用于并行程序通信，也负责为整个集群提供NFS文件共享服务。集群主机名和各网络的IP地址对应如下： 主机名 千兆管理网 千兆计算网 InfiniBand高速网 登录管理节点 node41 1 1 1 计算节点 node1 node2 … … … … node40 0 0 0 每台CB-85刀片计算节点配有4颗AMD Opteron 8374HE 2.2 GHz 四核处理器，总共16个CPU核心，内存大小为32 GB。操作系统为SuSE Linux Enterprise Server 10 SP2。 磁盘阵列提供两个6.3 TB大小的存储空间，分别映射到登录管理节点node41的/home1和/home2目录，用于存放公用程序和用户数据，这两个目录作为NFS共享目录，通过InfiniBand高速网共享给整个集群。 登录管理节点node41的所网IP地址为：5。Windows客户端可以用SSHSecureShellClient，PuTTY，SecureCRT，Xshell等SSH软件登录，Linux客户端直接在终端命令行执行： $ ssh username@5 注：5之前为IBM机器IP，如果登录时出现类似以下提示： @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ WARNING: REMOTE HOST IDENTIFICATION HAS CHANGED! @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ IT IS POSSIBLE THAT SOMEONE IS DOING SOMETHING NASTY! ……………. 可以将将本地“~/.ssh/known_hosts”文件清空后再登录： $ echo ~/.ssh/known_hosts $ ssh username@5 非root用户也可以通过telnet登录： $ telnet 5 另外，用户也可以通过WEB方式登入曙光GridView集群管理系统，对集群进行管理、监控、和使用。在WEB浏览器的地址栏中输入以下URL即可出现登录界面： 5:8080/gridview_portal 登入后，如果部分图表显示不正常，请为浏览器安装FLASH插件。 用户管理 添加用户 添加用户需要使用root账户在登录管理节点node41上进行，分以下几个步骤： (1). 在node41上添加用户和设定密码，用户主目录指定在 /home1或 /home2下，这样才能共享给其它计算节点： $ useradd -m -d /home1/username username $ passwd username (2). 将node41的用户信息文件“/etc/passwd, /etc/shadow, /etc/group”同步到所有计算节点，可以使用以下命令： $ setup_cluster --sync_user 删除用户 注意：如果加上“-r”参数，将删除用户的主目录，请谨慎 $ userdel [-r] username $ setup_cluster --sync_user 系统自动同步用户信息 每次添加或删除用户，更改用户密码后，可以选择手动同步用户信息到所有计算节点，使变动立即生效。另外node41的 /etc/cron.daily/sync_user脚本负责每天将用户信息自动同步。 $ cat /etc/cron.daily/sync_user #/bin/bash for i in `seq 1 40`; do scp /etc/passwd /etc/shadow /etc/group node$i:/etc/ /dev/null done 设置用户磁盘配额 在管理节点node41上已经打开 /home1 (/dev/sdc1) 和 /home2 (/dev/