集群GPU队列使用指南.docxVIP

集群GPU队列使用指南

单个GPU使用

首先编写.cu文件，拷贝至用户的主目录下。假设源文件是vectorAdd.cu，编译出来vectorAdd,编译指令如下（命令是一整行的）：

nvcc-I/opt/cuda/include-I/opt/cuda/NVIDIA_GPU_Computing_SDK/C/common/inc-I/opt/cuda/NVIDIA_GPU_Computing_SDK/shared/inc-L/opt/cuda/lib64-L/opt/cuda/NVIDIA_GPU_Computing_SDK/C/lib-L/opt/cuda/NVIDIA_GPU_Computing_SDK/C/common/lib-L/opt/cuda/NVIDIA_GPU_Computing_SDK/shared/libvectorAdd.cu-ovectorAdd-lcutil_x86_64–lcuda

接下来，编写提交的脚本testgpu.txt内容如下：

#!/bin/bash-x

#PBS-NVectorAdd

#PBS-lnodes=1:ppn=1:gpus=1

#PBS-joe

#PBS-qgpu

#

#definevariables

#

PATH=/opt/cuda/bin:$PATH

n_proc=$(cat$PBS_NODEFILE|wc-l)

LD_LIBRARY_PATH=/opt/cuda/lib64:/opt/cuda/lib:$LD_LIBRARY_PATH:$LD_LIBRARY_PATH

#binaryfile

/home/users/yourname/vectorAdd

exit0

最后提交任务，qsubtestgpu.txt即完成所有操作。

多个GPU使用（Cuda+OpenMPI）

由于目前gpu对列内每个节点有8个cpu核，只有1个gpu卡。一般只需要一个cpu核绑定一块gpu卡。所以在申请队列中如果需要同时申请多块gpu卡，那么需要控制好申请的cpu数。例如同时申请２个gpu卡，那么在申请脚本里面nodes=2，也就是申请16个cpu核，其中0-7核是在node1，8-15核在node2。在mpi的控制里面，需要绑定第0核和第8核去访问gpu。其余的14个核可以做其他相关的计算。

编译：假设mpi控制指令和cuda程序都写在一个test.cu，编译指令如下。

nvcc-I/opt/cuda/include-I/opt/cuda/NVIDIA_GPU_Computing_SDK/C/common/inc-I/opt/cuda/NVIDIA_GPU_Computing_SDK/shared/inc-L/opt/cuda/lib64-L/opt/cuda/NVIDIA_GPU_Computing_SDK/C/lib-L/opt/cuda/NVIDIA_GPU_Computing_SDK/C/common/lib-L/opt/cuda/NVIDIA_GPU_Computing_SDK/shared/lib-I/opt/intel/include/intel64-I/opt/soft/compiler/ompi/1.4.5/icc.ifort/include-L/opt/intel/lib/intel64-L/opt/soft/compiler/ompi/1.4.5/icc.ifort/libtest.cu-otest-lcutil_x86_64-lcuda–lmpi

递交脚本示例：

#!/bin/bash-x

#PBS-Ncudampi

#PBS-lnodes=2:ppn=8:gpus=1

#PBS-lwalltime=00:08:00

#PBS-joe

#PBS-qgpu

#

#definevariables

#

PATH=/opt/cuda/bin:$PATH

n_proc=$(cat$PBS_NODEFILE|wc-l)

LD_LIBRARY_PATH=/opt/cuda/lib64:/opt/cuda/lib:/opt/intel/lib/intel64:/opt/soft/compiler/ompi/1.4.5/icc.ifort/lib:$LD_LIBRARY_PATH

#

#runningjobs

#

cd$PBS_O_WORKDIR

#thefollowlinemustbemodifiedtoyourbinaryfile

time