昆植超算用户手册 昆明植物研究所.doc

昆明超算分中心用户试用说明 昆明超算分中心采用的是曙光5000系列的高性能集群计算机系统，其整体计算能力理论峰值为10T flops。2009年12月完成安装，现已投入试运行。本文主要介绍该计算机的整体的软硬件环境，以及机器的使用方法。 机器基本软硬件环境 硬件部署 昆明超算分中心采用60台曙光刀片服务器、两台曙光8路胖节点为计算服务器，10台机架式服务器作为IO、登陆管理及网格服务器，网络系统由千兆网和Infiniband高速网构成，存储系统为100T的盘阵。 具体安装配置情况如下： 1） 计算节点：Node1至Node060为曙光TC2600刀片服务器（4路4核，32G内存），Node61、Node62为8路4核胖节点，配置128G内存，供需要大内存的计算任务使用。共用1024个核供高性能计算使用，可提供9万亿次的理论计算能力。 2） IO节点（Node63至Node68）：4台机架式服务器组成Lastre并行文件系统IO节点，连接84T盘阵；另有两部服务器构成HA双机节点，连接16T盘阵（NSF文件系统），为Solexa测序仪提供高可靠的IO传输保障。 3） 管理及登陆节点：Node69为用户登陆节点；Node70为管理节点，曙光配置的集群管理系统Gridview，Platform 公司的LSF作业管理系统等管理软件安装部署在该节点上。 5） 存储系统：配置了100T盘阵，其中84T部署为并行文件系统Lustre（做完raid6加热备后，剩余约60T），16T的空间部署为网络文件系统NFS（做完raid6加热备后，剩余约12T），挂载在双机节点的/Solexa 下，保证测序数据的实时高可靠传输。 6）网络配置：系统配置两套网络，千兆网和Infiniband网。超算中心网络以光纤与研究所内网连接。 系统软件部署 1）操作系统：计算节点和前端接入节点的操作系统均为64位SuSE Linux Enterprise Server 10，提供了一个标准的64位Linux操作环境，用户需要事先适当熟悉命令行方式的基本Linux操作，特别是文件目录操作，并应该会熟练使用一种编辑器(vi等)。 2）作业管理系统：采用Platform 公司的LSF作业管理系统。 为保障计算系统有效利用众多处理器核心所提供的计算能力，必须有一个统一的作业管理系统，统一地跟用户交互，接收提交的各类计算任务，统一地分配计算资源，将各种各样的用户作业具体指派到节点上执行。对用户来说不需要关心计算具体是在哪里进行的，系统会自动按照优化原则调度，这不仅方便了用户的使用，而且提高了整个系统的利用率。作业管理系统是整个超级计算机最重要的软件环境之一，因此我们安装配置了目前最常用的LSF (Load Sharing Facility) 作业管理系统。 3）编译环境：系统安装的编译器、并行环境以及数学库见下表： 分类 名称 路径 版本 说明 编译器 intel编译器 /public/software/intel 10.0.23 包含C, C++, Fortran77, Fortran90 编译器 pgi编译器 /public/software/pgi 7.1.4 包含C, C++, Fortran77, Fortran90 编译器。包含acml数学库 MPI openmpi-gnu /public/software/mpi/openmpi132-gnu openmpi1.2.8 支持infiniband和千兆网，使用mpicc等mpi编译器时调用gnu编译器 openmpi-intel /public/software/mpi/openmpi132-intel openmpi1.2.8 支持infiniband和千兆网，使用mpicc等mpi编译器时调用intel编译器 openmpi-pgi /public/software/mpi/openmpi128-pgi openmpi1.2.8 支持infiniband和千兆网，使用mpicc等mpi编译器时调用pgi编译器 数学库 Gotoblas－gnu /public/software/mathlib/libgoto-gnu.a Gotoblas1.26 目前已知的性能最好的blas库，使用gcc和g77编译 lapack－gnu /public/software/mathlib/liblapack_gnu.a 　 使用gnu编译器编译的lapack库 fftw2-float /public/software/mathlib/fftw215-float-gnu/ fftw2.1.5 单精度 fftw3-float-gnu /public1/software/mathlib/fftw312-fl