华东师范大学超算中心作业调度系统策略配置和使用情况说明.PDFVIP

华东师范大学超算中心 作业调度系统策略配置和使用情况说明 华东师大超算中心作业调度系统策略配置情况说明 曙光为华东师范大学超算中心提供的作业调度系统Gridview 之DPBS ，源于 PBS 系统，集成于Gridview，带有自己的功能强大的调度器。兼容OpenPBS 2.3 的所有语法。 Gridview 集成的DPBS 曙光内部版本是2.0 ；调度器版本为2.0 。 1. 作业队列 目前整个系统共计63 台计算节点（node1-63 每个节点8 CPU CORE 和16GB 内存），1 台登录节点（node64 ，配置8CPU CORE，16 GB 内存）1 台管理节点 （node65 ，配置8 CPU CORE，16GB 内存）；1 台I/O 节点（node65 ，配置8 CPU CORE ，16 GB 内存）。 作业调度系统的管理节点是node64 和node65 ，在这两个节点上用管理员帐 户root 都可以管理（删除或者取消）普通用户提交的作业。 共设定四个队列，high ，parallel ，debug ， serial 。 其中high （具有特权的 用户使用）为高优先级抢占队列，可以抢占其它队列的作业。parallel ，debug ， serial 为低优先级队列，其作业可以被high 队列中的作业所抢占。默认队列为parallel ， 所有用户的作业长度不受限制，但其优先级也最低，优先级值越大，优先级也越 高。 Queue CPU-Time Limit No. of Jobs in Parallel Priority high unlimited unlimited 11000 debug 2 小时 4 6000 parallel 30 天 8 9000 serial 30 天 64 6000 资源分区，利用Reservation 的方法实现资源分区概念： 分为串行作业计算 节点区（node1-8 ）、作业编译调试区（node61-63 ）和并行作业运行区（node9-60 ）。 目前所有计算队列基本未加更进一步的限制，任何用户可以提交任意数目的 长短作业。 2 调度策略 四个队列中，high （业务系统）为高优先级抢占队列，可以抢占其它队列的 作业。 debug ，parallel 和serial 为低优先级队列，其作业可以被high 队列中的 作业所抢占。 默认队列为parallel ，所有用户的作业长度在主机试运行期间不受 限制；优先级值越大，优先级也越高。 普通节点区未加限制，任何用户可以提交任意数目的长短作业。 3 作业调度系统使用举例 3.1 Job Arrays Job Arrays 是一种将相关工作分组的机制，允许使用者提交，查询，修改以 及显示一个集合的工作。这个新的功能对于一些必須提交以及管理大量相关工作 的user 来说是相当实用的。 测试算例为： dolphin# cat helloworld.cc #include iostream #include stdlib.h int main() { std::cout hello world! std::endl; system(echo my present working directory is `pwd` !); } 测试脚本为： #!/bin/bash -x #PBS -N my.job.array #PBS -t 0-3 #PBS -l nodes=1:ppn=1 #PBS -l walltime=60:00:00 #PBS -j oe #PBS -q s