联想作业管理系统.pptVIP

联想作业管理系统 2003年3月 第一页，共三十七页。 需求分析 系统概述 系统使用 A Q 第二页，共三十七页。 高性能计算机的应用领域正迅速扩展 科学计算 产品设计 生物科学探索 ... 如何既能方便用户管理作业，又能有效利用机群系统的各种软硬件资源，从而提高系统的资源利用率和吞吐率呢？ 第三页，共三十七页。 需求分析 系统概述 系统使用 A Q 第四页，共三十七页。 系统定义 机群作业管理系统是建立在操作系统与用户程序之间的一种系统中间件。 主要目的 方便用户管理作业，合理选择作业调度策略，统一管理机群系统的各种软硬件资源，提高系统的整体资源利用率和吞吐率。 第五页，共三十七页。 主要由用户服务器server、作业调度器sched、结点执行器mom和客户端等四部分组成。其中server、sched和mom为守护进程，三者之间协同工作，共同实现作业管理、作业调度和负载平衡等功能。原理如下图1－1所示。 第六页，共三十七页。 MOM sched Server 单机环境下的机群作业管理系统 内核 调度策略 事件 正在处理的事件 作业 第七页，共三十七页。 主要包括作业管理、作业调度、资源管理、系统监控、故障恢复、记帐等功能。 第八页，共三十七页。 作业管理 作业管理包括提交、查看、修改、删除、挂起/恢复、移动和传送作业等。 作业调度 由调度算法决定，我们目前提供的调度策略有FIFO、RESERVATION和BACKFILL等，用户可以根据需要灵活配置。 第九页，共三十七页。 资源管理 管理的对象包括服务器、队列、结点等，管理方法是动态地增加、删除对象，设置、修改对象的属性。 系统监控 用户通过查看机群系统中各个结点的状态（如空闲、繁忙、作业独占、脱机或故障），决定使用哪些结点来提交作业，实现负载平衡。 第十页，共三十七页。 系统功能（三） 故障恢复 服务器进程的“故障恢复”选项，可以恢复处于“排队”和“运行”状态的作业，使其继续运行或重新调度，保证用户服务器的高可用。 记帐 记录每个作业占用所分配结点的时间情况。 第十一页，共三十七页。 需求分析 系统概述 系统使用 A Q 第十二页，共三十七页。 基本命令 扩展命令 第十三页，共三十七页。 基本命令 基本命令是原系统本身提供的命令 qsub , qstat, qselect,qhold,qrls,qrerun, qalter,qdel,qmsg,qmove,qsig 第十四页，共三十七页。 扩展命令 扩展命令是对原系统的命令集的扩充，方便在大型机群系统中的安装、配置、启动和停止等系列操作，而专门编写的命令 mpijob_tcp,pvmjob,pvmjob_tcp,bsub,bjobs,bkill,forall,qview,lsload,nodes,check_calnodes,loadd 第十五页，共三十七页。 qsub提交作业 qsub -l 指定作业所需要的资源 -o 指定输出文件名 -e 指定错误输出文件名 第十六页，共三十七页。 qstat查看状态 qstat -q 显示已经配置的所有队列状态信息 -a 显示已经提交的作业状态信息 -f [作业名] 显示指定作业的所有状态信息 -B 显示服务器的状态 第十七页，共三十七页。 资源数 队列名 脚本名 查看队列状态 第十八页，共三十七页。 qselect查询作业 qselect -q [队列名]查询指定队列中的作业 [主机名]查询指定主机上的作业 第十九页，共三十七页。 qhold挂起作业 qhold [-h hold_list] 作业ID qrls释放作业 qrls [-h hold_list] 作业ID qhold [-h hold_list] 作业ID 第二十页，共三十七页。 第二十一页，共三十七页。 第二十二页，共三十七页。 qrerun重新运行作业 qrerun 作业ID qalter更改批处理作业属性 -a 更改批处理作业的时间属性 -c 更改检查作业一致性的时间间隔属性 第二十三页，共三十七页。 qdel删除批处理作业 qdel [-W delay]作业ID qmsg给批处理作业发送消息 qmsg [-E] [-O] message_string 作业ID 第二十四页，共三十七页。 第二十五页，共三十七页。 qmove 目标队列 作业ID qmove在队列之间移动作业 第二十六页，共三十七页。