联想作业管理系统 - 宁波大学超级计算中心首页.pptVIP

联想作业管理系统 需求分析 系统概述 系统使用 A Q 需求分析 系统概述 系统使用 A Q 需求分析 系统概述 系统使用 A Q 基本命令 扩展命令 基本命令 基本命令是原系统本身提供的命令 qsub , qstat, qselect,qhold,qrls,qrerun, qalter,qdel,qmsg,qmove,qsig 扩展命令 扩展命令是对原系统的命令集的扩充，方便在大型机群系统中的安装、配置、启动和停止等系列操作，而专门编写的命令 mpijob_tcp,pvmjob,pvmjob_tcp,bsub,bjobs,bkill,forall,qview,lsload,nodes,check_calnodes,loadd qsub提交作业 qsub -l 指定作业所需要的资源 -o 指定输出文件名 -e 指定错误输出文件名 qstat查看状态 qselect查询作业 qhold挂起作业 qrerun重新运行作业 qdel删除批处理作业 qmove在队列之间移动作业 qsig给批处理作业发送”杀死”信号 基本命令 扩展命令 nodes 查看所有计算结点的状态 lsload查看计算结点的负载和状态 loadd获得结点的负载信息 mpijob 提交mpi作业使用gm协议 bsub提交串行和并行作业 nodes 无参数 分别用不同的颜色显示全部结点的状态信息（包括free,down,unkown,buzy,offline,job-exclusive等），并统计处于各种状态的结点数目。 lsload [-h] [结点机名…] loadd 时间间隔 定期将所在结点的平均负载信息写入以结点名命名的文件中，该文件存放在/usr/local/OpenPBS/loadinfo目录下，如/usr/local/OpenPBS/loadinfo/c**** mpijob_tcp 提交mpi作业tcp/ip协议 pvmjob 提交pvm作业使用gm协议 pvmjob_tcp 提交pvm作业使用tcp/ip协议 * * * 2003年3月 高性能计算机的应用领域正迅速扩展 科学计算 产品设计 生物科学探索 ... 如何既能方便用户管理作业，又能有效利用机群系统的各种软硬件资源，从而提高系统的资源利用率和吞吐率呢？ 系统定义 机群作业管理系统是建立在操作系统与用户程序之间的一种系统中间件。 主要目的 方便用户管理作业，合理选择作业调度策略，统一管理机群系统的各种软硬件资源，提高系统的整体资源利用率和吞吐率。 主要由用户服务器server、作业调度器sched、结点执行器mom和客户端等四部分组成。其中server、sched和mom为守护进程，三者之间协同工作，共同实现作业管理、作业调度和负载平衡等功能。原理如下图1－1所示。 MOM sched Server 单机环境下的机群作业管理系统 内核 调度策略 事件 正在处理的事件 作业 主要包括作业管理、作业调度、资源管理、系统监控、故障恢复、记帐等功能。 作业管理 作业管理包括提交、查看、修改、删除、挂起/恢复、移动和传送作业等。 作业调度 由调度算法决定，我们目前提供的调度策略有FIFO、RESERVATION和BACKFILL等，用户可以根据需要灵活配置。 资源管理 管理的对象包括服务器、队列、结点等，管理方法是动态地增加、删除对象，设置、修改对象的属性。 系统监控 用户通过查看机群系统中各个结点的状态（如空闲、繁忙、作业独占、脱机或故障），决定使用哪些结点来提交作业，实现负载平衡。 系统功能（三） 故障恢复 服务器进程的“故障恢复”选项，可以恢复处于“排队”和“运行”状态的作业，使其继续运行或重新调度，保证用户服务器的高可用。 记帐 记录每个作业占用所分配结点的时间情况。 qstat -q 显示已经配置的所有队列状态信息 -a 显示已经提交的作业状态信息 -f [作业名] 显示指定作业的所有状态信息 -B 显示服务器的状态 资源数 队列名 脚本名 查看队列状态 qselect -q [队列名]查询指定队列中的作业 [主机名]查询指定主机上的作业 qhold [-h hold_list] 作业ID qrls释放作业 qrls [-h hold_list] 作业ID qhold [-h hold_list] 作业ID qrerun 作业ID qalter更改批处理作业属性 -a 更改批处理作业的时间属性 -c 更改检查作业一致性的时间间隔属性 qdel [-W delay]作业ID qmsg给批处理作业发送消