上海大学集群式高性能计算机.PDF

上海大学集群式高性能计算机 “自强4000”用户手册 2016 年 9 月 1 日 目 录 1. 系统概述2 2. 系统登录5 3. 系统环境10 4. 文件传输11 5. 集群应用开发13 5.1 编译器13 5.2 串行程序编译举例14 5.3 openmp 程序编译16 5.4 MPI 程序编译17 5.5 编译器优化选项20 5.6 科学计算库23 6. 作业提交26 6.1 自强4000 队列简介26 6.2 作业提交26 6.3 作业监控27 6.4 作业删除29 6.5 查看队列状态29 6.6 Platform LSF 环境变量说明30 6.7 通过LSF 提交MPI 作业31 6.8 Platform LSF 提交脚本示例31 7. GPU cuda 编程32 8. 文件系统34 9. 应用提交35 10. Linux 常用命令说明37 备注44 1 1.系统概述 上海大学自强 4000 高性能集群采用 IBM Cluster1350 集群架构，计算节点选用 IBM 最新一代的 x240 刀片服务器，配置最新技术的 Intel Xeon E5-2690 系列处理器, 集群配置专业的高性能集群管理软件 Platform LSF。 整个集群拓扑如下图所示： 为了方便管理和使用，本次上海大学集群系统计算部分主要由 140台 IBM PureFlex x240 刀片节点构成。集群中有 140 台瘦节点、2 台胖计算节点和 11 台 GPU 计算节点、 2 台登录节点。 瘦计算节点： 部件名称 产品类型 CPU 2颗intel E5-2690 CPU （2.9GHz/8-core ）共16core 内存 64G RDIMM DDR3 1600MHz内存 磁盘 300G 10KRPM热插拔SAS磁盘 2 胖计算节点： 部件名称 产品类型 CPU 4颗intel E5-4650 CPU （2.7GHz/8-core ）共32core 内存 512G RDIMM DDR3 1600MHz内存 磁盘 5块 300G 10KRPM热插拔SAS磁盘 GPU 计算节点： 部件名称 产品类型 CPU 2颗intelE5-2680 CPU （2.7GHz/8-core ）共16 core 内存 64G DDR3 1600MHz内存 GPU模块 配置两块 NVIDIA M2090 GPU计算模块 磁盘 2块 300G 10KRPM热插拔SAS磁盘 注：NVIDIA M2090提供512个并行处理核心，双精度浮点峰值性能665GFlops ，单精 度浮点峰值性能1331GFlops。搭配6GB GDDR5缓存，关闭ECC校验状态下的显存带宽 为177GB/s。 登录节点: 登录节点1 ( 校内) 登录节点2 :4002 （校外） CPU 2颗intelE5-2620 CPU （2.0GHz/6-core ）共12core 内存 32G DDR3 1600MHz内存 磁盘 2块 300G 10KRPM热插拔SAS磁盘 $HOME