GPU集群Torque排队系统使用手册.PDF

多媒体计算与通讯实验室 GPU 集群Torque 排队系统使用手册 袁平波 2016.5.20 本实验室新购进24 块K80 tesla GPU。为了充分利用GPU 计算资 源，我们利用Torque 来管理同学们的计算任务队列。头结点的IP 是 40。下面说明使用本GPU 集群的几个步骤。 1. 申请帐号. 本集群有一个头结点和多个服务结点构成，因此提交计算 作业需要在头结点上拥有帐号，需要使用集群的学生需要给我 发一个申请邮件，同时cc 给自己的导师，在导师批准后相应 的帐号会被建立。 2. 建立job 脚本文件 Torque 管理系统不能直接提交二进制可执行文件，需要编 写一个文本的脚本文件，来描述相关参数情况。一个示例脚本 文件myjob1.pbs 如下： #PBS -N myjob1 #PBS -o /home/username/myjob1.out #PBS -e /home/username/myjob1.err #PBS -l nodes=1:gpus=1:S #PBS -r y cd $PBS_O_WORKDIR echo Time is `date` echo Directory is $PWD echo This job runs on following nodes: cat $PBS_NODEFILE cat $PBS_GPUFILE ./my_proc 脚本文件中定义的参数默认是以#PBS 开头的。其中： -N 定义的是job 名称，可以随意。 -o 定义程序运行的标准输出文件，如程序中printf 打 印信息,相当于stdout； -e 定义程序运行时的错误输出文件,相当于stderr。 -l 定义了申请的结点数和gpus 数量。nodes=1 代表一 个结点，一般申请一个结点，除非采用mpi 并行作业； gpus=1 定义了申请的GPU 数量,根据应用实际使用的gpu 数量来确定,S 表示job 类型，后面有详细描述。队列系统 的默认job 请求时间是一周，如果运行的job 时间估计会 超过，则可以使用下面的参数： #PBS -l nodes=1:gpus=1:S,walltime=300:00:00 表示请求300 小时的job 时间。 -r 表示job 立即执行。 my_proc 是用户的可执行程序。需要通过scp 或winscp 复制到自己的home 目录。如果程序运行过程中需要读取数 据文件和生成数据文件，也需要在运行前后上传和下传。 后面的cat 和echo 信息是打印出时间、路径、运行节点及 GPU 分配情况等信息，便于调试。 3. 提交作业 ：qsub $qsub myjob1.pbs myjob1.pbs 是前一步骤生成的脚本文件。相应可执行 文件和数据文件也必须就位。 4. 查看作业：qstat -n 上图中165 是jobid 运行状态有以下几种状态： C - Job 已经运行结束 E - Job 运行结束后退出 H - Job 被挂起 Q - job 被排队, 可被手动启动或路由 R - job 在运行中. T - job 被移动 W - job 等待其执行时间到来