集群作业调度系统使用方法.PPT

Inspur group * 浪潮HPC集群作业调度系统使用培训 集群作业调度系统说明 建立一种作业提交的秩序 集群作业调度系统说明 软件介绍 浪潮 TSJM 作业调度软件是专为浪潮天梭系列 HPC 产品定制的一款作业调度软件，该软件通过浏览器（IE，firefox等）进行操作，可以管理集群系统中的软硬件资源和用户提交的作业，根据集群中的资源使用情况来合理的调度用户提交的作业，从而达到提高资源的利用率和作业的执行效率的作用。TSJM底层是用openpbs和maui作业调度管理软件。 集群作业调度系统说明 OpenPBS 介绍 PBS: Portable Batch System 做为集群作业调度系统。作业管理又称为工作负载管理，负载共享或负载管理。它有效地管理系统中的各种资源，以及用户提交的作业。目的是为了充分利用集群的软硬件资源及宝贵的CPU时间，有效地管理集群，合理地调度作业，使系统具有高的吞吐率和利用率。 目前天梭10000中使用的作业调度软件为:torque 2.3.0 PBS历史: * Inspur group PBS基本组件 * Inspur group 集群作业调度系统说明 集群作业调度系统说明 PBS基本组件 Pbs command:用于提交、监视、修改和删除作业。 Pbs_server: 提供基本的批处理服务，例如接收/创建一个批处理作业，管理维护作业队列，管理输出结果等。 Pbs_mom:是一个守护进程，从pbs server处接收作业后放入其执行队列中等待执行。 Scheduler: 对用户提交的作业进行调度 当前集群上用的调度器是maui * Inspur group 集群作业调度系统说明 Maui是Cluestering公司为了弥补torque自带的调度器pbs_shced的调度策略而开发了一款调度器软件 。 Maui优先级系统 * Inspur group 集群作业调度系统说明 Torque应该如何使用? 熟悉Torque提供的几个命令 编写作业提交脚本 了解使用注意事项 PBS命令 qsub 作业提交脚本 qstat [参数] qdel 作业号 * Inspur group 集群作业调度系统使用方法 PBS命令详解 提交作业的命令 qsub 作业提交脚本 此命令执行后,会给出个作业号 查询作业命令 qstat [参数] * Inspur group 集群作业调度系统使用方法 * Inspur group qstat 命令详解 命令格式：qatat [-f][-a][-i] [-n][-s] [-R] [-Q][-q][-B][-u] 参数说明： -f? jobid? 列出指定作业的信息 -a?????? ?列出系统所有作业 -i???? ????列出不在运行的作业 -n??????? 列出分配给此作业的结点 -s???????? 列出队列管理员与scheduler所提供的建议 -R??????? 列出磁盘预留信息 -Q?????? 操作符是destination id，指明请求的是队列状态??? ? -q??????? 列出队列状态，并以alternative形式显示 -au userid?列出指定用户的所有作业 -B?????? 列出PBS Server信息 -r??????? 列出所有正在运行的作业 -Qf queue 列出指定队列的信息 -u??????? 若操作符为作业号，则列出其状态。 若操作符为destination id，则列出运行在其上的属于user_list中用户的作业状态。 集群作业调度系统使用方法 pbsnodes查看节点状态 pbsnodes -l all cu01 free （代表空闲状态，可接受作业） cu02 job-exclusive （代表正在运行作业，不可接受作业） cu03 offline （代表掉线状态，不可接受作业） cu01 down （代表关机或者故障，作业不可接受作业） cu02 down,job-exclusive （代表关机或者故障，且关闭前有作业在进行） PBS命令详解 作业删除命令 qdel 作业号 其中作业号为qsub提交后系统所给出的一个号码 注意事项 1、非管理员只能删除自己提交的作业 2、在提交作业时估计自己需要运行的时间把其写进作业提交脚本里。 3、Maui里的策略一但制定了，对于作业的优先级，普通用户是不可见且不可调的。 * Inspur group 集群作业调度系统使用方法 PBS脚本写作 脚本包含三部分： 资源声明：即规定所需要的节点数，核数，作业名，所要递交的队列 环境变量：即运行作业时，需要的各个节点的基本属性，比如某