OpenPBS作业管理系统介绍.pdfVIP

OpenPBS作业管理系统 曙光信息产业（北京）有限公司 技术支持中心 戴荣 提纲 • OpenPBS作业管理系统简介 • OpenPBS作业管理系统的安装与配置 • OpenPBS作业脚本 • OpenPBS常用命令 • OpenPBS服务器管理 • OpenPBS图形界面 OpenPBS 系统简介 OpenPBS • PBS （Portable Batch System） PBS最初由NASA的Ames研究中心开发， 为了提供一个能满足异构计算网络需要 的软件包，特别是满足高性能计算的需 要。它力求提供对批处理的初始化和调 度执行的控制，允许作业在不同主机间 的路由。 OpenPBS的组成 • 主要有用户服务器pbs_server，作业调 度器pbs_sched，节点执行器pbs_mom 三部分组成，三者之间协同工作，共同 实现作业管理、作业调度和负载平衡等 工作，原理如下图: OpenPBS 的安装配置 OpenPBS运行的前提条件 • 服务器与计算节点的rsh必须能正常使用 • 对某个用户的配置 – ${HOME}/.rhosts，加入所有主机名 • 对所有用户的配置 – 计算节点/etc/hosts.equiv是服务器名 – 服务器/etc/hosts.equiv是所有计算节点名 安装服务器端 • 用源码来安装 #./configure --set-server- home=/var/spool/pbs --set-default- server=server_name #make #make install 服务器端的目录结构 服务器端的配置 • 向/var/spool/pbs/server_name 中添加服 务器节点的主机名 • 将集群中所有计算节点的主机名加入 /var/spool/pbs/server_priv/nodes 中，每 个节点一行,如 node01 np=2 • 将/var/spool/pbs/mom_priv/config 中的， $clienthost改为$clienthost server_name 安装配置客户端 客户端server_name与config的路径和配置 与服务器端的完全一样 • 加为开机自动启动 chkconfig –add pbs_mom 服务的启动 • 服务器端启动 修改/etc/pbs.conf 把start_sched=0 改 为1 /etc/init.d/openpbs start • 客户端启动 /etc/init.d/pbs_mom start 创建队列 • 自动创建队列 #cd /var/spool/pbs #qmgr pbs_config.sample PBS的使用步骤 • 准备：编写描述改作业的脚本，包括作业名， 需要的资源等。 • 提交：使用qsub命令将该作业提交给PBS服务 器 • 排队：服务器将该任务排入适当的队列 • 调度：服务器检查各工作节点的状态是否符合 该作业的要求，并进行调度。 • 执行：当条件满足时，作业被发给相应的执行 服务器执行。程序运行时执行服务器会收集程 序的标准输出和标准错误流，等程序结束时， 将这些信息返回给用户。 PBS 作业脚本 脚本组成说明 • 注释,以“#”开头 • PBS指令,以“#PBS”开头 • 命令,其他开头