PBS作业调度应用与说明.docVIP

PBS(Portable Batch System)最初由NASA的Ames研究中心开发，主要为了提供一个能满足异构计算网络需要的软件包，用于灵活的批处理，特别是满足高性能计算的需要，如集群系统、超级计算机和大规模并行系统。PBS的主要特点有：代码开放，免费获取；支持批处理、交互式作业和串行、多种并行作业，如MPI、PVM、HPF、MPL；PBS是功能最为齐全, 历史最悠久, 支持最广泛的本地集群调度器之一. PBS的目前包括openPBS, PBS Pro和Torque三个主要分支. 其中OpenPBS是最早的PBS系统, 目前已经没有太多后续开发, PBS pro是PBS的商业版本, 功能最为丰富. Torque是Clustering公司接过了OpenPBS, 并给与后续支持的一个开源版本. PBS的应用不同于一般的直接运行: mpirun –np number ./executable_file 直接运行上句，则只能在单个节点上进行并行计算。如果要在多个节点上并行执行则要写machinefile或p4pgfile，两种文件的具体写法参考张林波等《并行计算导论》。运行命令分别为： ?????? mpirun –machinefile filename ?????? mpirun –p4pg filename 应用PBS提交任务则会形成任务队列，依次执行，有效分配资源，避免资源竞争。否则CPU时间片会轮流分配给各个人的任务，从而影响所有人的正常作业。 torque PBS 提供对批处理作业和分散的计算节点(Compute nodes)的控制。 安装Torque组件：在一个节点上(head node)安装pbs_server，所有计算节点上安装pbs_mom，所有计算节点和提交节点上安装PBS客户端。至少做最基本的配置，使Torque系统跑起来，也就是使pbs_server能知道该和哪些机器通话。 在pbs_server上创建一个作业提交队列。 在集群的所有节点上指定一个cluster name作为property。这可以用qmgr命令做到。比如： ????????????????? qmgr -c set node node properties=cluster-name。 确保作业可以提交到节点上去。这可以通过使用qsub命令做到。比如： ???????????????? echo sleep 30 | qsub -l nodes=3。 1.0 作业提交系统Torque个人安装总结(PBS)1.1 Torque安装（在master管理结点上）1. 解压安装包 tar -zxvf torque-2.3.0.tar.gz 2. 进入到解压后的文件夹 ./configure --with-default-server=master make make install 3. 打包， user必须是个普通用户 1） [root@master torque-2.3.0]# ./torque.setup user 2） [root@master torque-2.3.0]# make packages 把产生的 tpackages , torque-package-clients-linux-x86-64.sh, torque-package-mom-linux-x86-64.sh 拷贝到所有节点。 3） 客户端安装 [root@master torque-2.3.0]# ./torque-package-clients-linux-x86_64.sh -install [root@master torque-2.3.0]# ./torque-package-mom-linux-x86_64.sh -install 4）编辑/var/spool/torque/server_priv/nodes （需要自己建立）加入如下内容 master?? np=4 node01 np=4 ........ node09 np=4 5）启动pbs_server,pbs_sched,pbs_mom,并把其写到/etc/rc.local里使其能开机自启动。 6）创建队列 [root@master ~]# qmgr create queue students set queue students queue_type = Execution set queue students Priority = 40 set queue students resources_max.cput = 96:00:00 set queue students resources_min.cput = 00:00:01 set queue students reso