pbs作业调度应用与说明（实战整理）.docVIP

PBS(Portable Batch System)简介 PBS(Portable Batch System)最初由NASA的Ames研究中心开发，主要为了提供一个能满足异构计算网络需要的软件包，用于灵活的批处理，特别是满足高性能计算的需要，如集群系统、超级计算机和大规模并行系统。PBS的主要特点有：代码开放，免费获取；支持批处理、交互式作业和串行、多种并行作业，如MPI、PVM、HPF、MPL；PBS是功能最为齐全, 历史最悠久, 支持最广泛的本地集群调度器之一 PBS的目前包括openPBS, PBS Pro和Torque三个主要分支. 其中OpenPBS是最早的PBS系统, 目前已经没有太多后续开发, PBS pro是PBS的商业版本, 功能最为丰富. Torque是Clustering公司接过了OpenPBS, 并给与后续支持的一个开源版本. PBS的应用不同于一般的直接运行: mpirun –np number ./executable_file 直接运行上句，则只能在单个节点上进行并行计算。如果要在多个节点上并行执行则要写machinefile或p4pgfile，两种文件的具体写法参考张林波等《并行计算导论》。运行命令分别为： ?????? mpirun –machinefile filename ?????? mpirun –p4pg filename 应用PBS提交任务则会形成任务队列，依次执行，有效分配资源，避免资源竞争。否则CPU时间片会轮流分配给各个人的任务，从而影响所有人的正常作业。torque PBS 的安装配置及使用 torque PBS 提供对批处理作业和分散的计算节点(Compute nodes)的控制。 安装Torque组件：在一个节点上(head node)安装pbs_server—主节点】，所有计算节点上安装pbs_mom，所有计算节点和提交节点上安装PBS客户端。至少做最基本的配置，使Torque系统跑起来，也就是使pbs_server能知道该和哪些机器通话。 在pbs_server上创建一个作业提交队列。 在集群的所有节点上指定一个cluster name作为property。这可以用qmgr命令做到。比如： ????????????????? qmgr -c set node node properties=cluster-name。 确保作业可以提交到节点上去。这可以通过使用qsub命令做到。比如： ???????????????? echo sleep 30 | qsub -l nodes=3。 一、Torque安装（在master管理结点上）1. 解压安装包 tar -zxvf torque-2.3.0.tar.gz 2. 进入到解压后的文件夹 ./configure –--with-default-server=keylab2 make make install 3. 打包， user必须是个普通用户1） [root@master torque-2.3.0]# ./torque.setup 2） [root@master torque-2.3.0]# make packages 把产生的 tpackages , torque-package-clients-linux-x86-64.sh, torque-package-mom-linux-x86-64.sh 拷贝到所有节点。 3） 客户端安装[root@master torque-2.3.0]# ./torque-package-server-linux-x86_64.sh --install [root@master torque-2.3.0]# ./torque-package-clients-linux-x86_64.sh --install [root@master torque-2.3.0]# ./torque-package-mom-linux-x86_64.sh --install 4）编辑/var/spool/torque/server_priv/nodes （需要自己建立）加入如下内容 [root@keylab2 vasp]# cat /etc/hosts 00 keylab1 02 keylab2 root@xiaoqiugood:~# cat /etc/hosts # # hosts This file describes a number of hostname-to-address # mappings for the TCP/IP subsystem. It is mostly # used at boot t