超级计算机用户手册v1.1.docVIP

User’s Guide for NUIST IBM HPC Platform PAGE 3 User’s Guide for NUIST IBM HPC Platform Version 1.0 IBM Present 28th Nov 2012 Phone Mail:hpc@  目录 系统介绍 环境变量设置方法 PBS作业调度使用方法 远程登录工具PuTTY使用方法 Linux常用命令说明 IBM HPC Platform集群MPI使用说明 IBM HPC Platform集群常见问题说明 IBM HPC Platform集群使用技巧 系统介绍 系统简介 南京信息工程大学高性能计算中心校级计算平台由IBM公司搭建。采用刀片服务器作为计算节点来构建这一系统。系统包括刀片计算节点、管理和登录节点、I/O节点、高性能存储和连接所有节点的 40Gbps Infiniband 高速网络，形成一个总体Linpack实测浮点运算能力超过每秒40万亿次，总存储容量超过600TB（其中50TB为1万5千转高速磁盘），存储最高并发数据访问带宽达到5GB/s，系统总功耗小于113千瓦的高性能计算平台，集群采用PBS Pro作业调度系统;可以很好地满足科研应用对计算能力和应用灵活性的需求。 集群一共包含325个服务器节点和相关网络及存储设备，其中308台为刀片计算节点，采用HS22刀片服务器和BCH高性能刀片机箱；8台为管理和登录节点，采用1U高度的x3550 M3机架式服务器；另外配置8台x3550 M3服务器作为I/O节点，通过40Gb Infiniband网络向集群提供共享的数据访问；考虑到硬件管理需求，我们额外配置了一台x3550 M3服务器作为专用的硬件管理节点。存储部分采用了来自高端存储厂商DDN的SFA10000高性能磁盘阵列，配置了550TB容量的SATA磁盘和50TB容量的高速磁盘构成分层存储环境。除硬件管理节点以外，所有节点通过一台324口的集中式40Gbp Infiniband核心交换机连接，构成全线速、无阻塞的网络环境。 NUIST HPC platform 系统拓扑图 系统登录方式 使用工具Putty(使用方法详见第四章) 1．ssh 输入用户名，账户 2．teacher用户可使用最大48核提交作业，最多可同时运行两个作业,student用户可使用最大48核提交作业。每个用户最多同时运行两个作业。 3．系统自动分配给每个用户100G存储空间。如需较大空间，请提出申请（注明理由、空间大小、使用期限等），超算中心将根据资源的使用情况给予适当安排。 环境变量设置方法 1．常用工具及库: 1)、netcdf export TOOLS= /gpfs/fs1/tools export NETCDF=$TOOLS/netcdf-intel （或export NETCDF=$TOOLS/netcdf-pgi） export PATH=$PATH:$NETCDF/bin 2)、 GRADS export TOOLS= /gpfs/fs1/tools export GRADS=$TOOLS/grads-2.0.1 export PATH=$PATH:$ GRADS /bin 3)、 jasper export TOOLS= /gpfs/fs1/tools export JASPER=$TOOLS/jasper export PATH=$PATH:$ JASPER /bin 2．编译器: 、使用intel编译器版本：11.1 设置方法： Vi ~/.bashrc　　#行尾添加如下几行 source /opt/intel/Compiler/11.1/046/bin/iccvars.sh intel64 source /opt/intel/Compiler/11.1/046/bin/ifortvars.sh intel64 source /opt/intel/impi/4.0.3/intel64/bin/mpivars.sh export WRFIO_NCD_LARGE_FILE_SUPPORT=1 source ~/.bashrc 重新登录后，使用如下命令测试： [root@log02 ~]# which icc /opt/intel/Compiler/11.1/046/bin/intel64/icc [root@log02 ~]# which ifort /opt/intel/Compil