作业调度系统中.ppt

作业调度系统 曙光信息产业（北京）有限公司 内 容 任务管理系统概述 作业调度系统 PBS作业调度系统 作业调度系统的使用 机群使用中的问题 机群结构的松散性（单一系统映象） 节点类型的差别 （CPU类型、内存大小、数量等） 系统资源丰富（节点/CPU） 用户不同类型的作业（串行/并行） 用户可以使用资源的限制 任务管理系统的功能 单一系统映象 机群松散的结构的整合 系统资源整合 异构系统的整合 多用户的管理 用户提交的任务的统一安排，避免冲突 用户权限的管理 非授权用户的控制 任务管理系统的简史 任务管理系统的分类 基于进程级别的调度 由机群中的操作系统或者运行时Runtime内部支持，对运行的作业进行监控；以实现机群内的透明调度、以及自动优化进程的分配和平衡负载 基于作业级别的调度 这种方式由独立的作业管理系统实现。该系统通过专门的入口，接收用户提交的任务，送入相应的队列等待调度；并在适当的时机分配资源，为任务创建作业，将作业提入运行，在作业运行结束后完成收尾工作，并提供记帐功能。 管理员和用户还可以在机群中查询并预订符合要求的资源，，从而实现对作业和资源的全程交互控制。 任务管理系统的比较 内 容 任务管理系统概述 作业调度系统 PBS作业调度系统 作业调度系统的使用 作业管理的组成 资源管理器：管理集群的硬件资源及认证信息等 队列管理器：管理当前所有已提交但还未完成的作业 调度器：为作业分配资源 作业管理系统的结构 作业特性比较 内 容 任务管理系统概述 作业调度系统 PBS作业调度系统 作业调度系统的使用 PBS作业调度系统 PBS最初由NASA的Ames研究中心开发，为了提供一个能满足异构计算网络需要的软件包。它力求提供对批处理的初始化和调度执行的控制，允许作业在不同主机间的路由。 PBS的技术特色 力求控制对批处理的初始化和调度执行，允许作业在不同主机间的路由。 独立的调度模块存有各个可用的排队作业、运行作业和系统资源使用信息，并且允许系统管理员定义资源和每个作业可使用的数量。 在作业调度策略上，PBS提供了默认的公平共享和独占FIFO调度策略，还提供了TCL、BACL、C三种过程语言和调度类，与定义了一些调度需要的函数和完整的API，方便实现新的调度策略。 提供文件传送，File Stage-in 和Stage-out。 满足POSIX1003.2d 标准，支持作业依赖，和完整的安全认证。 提供用户映射功能，使PBS 能用于用户不一致的系统中。 PBS的结构 PBS 的组成 服务器:pbs_server 调度器:pbs_sched 执行器:pbs_mom 命令行:用户脚本，管理命令等 PBS 的基本原理 PBS 的优缺点 支持系统级检查点功能（需底层操作系统支持） 很好的大规模扩展性 独立的调度模块** 支持作业依赖 符合POSIX 1003.2d 标准 -只支持Unix类操作系统 -多集群协作功能有限 -不支持用户级检查点功能 术 语 节点(node) 一个单一的操作系统映像，一个统一的虚拟内存映像一个个或多个cpu，一个或多个IP地址的计算机系统被称之为一个节点。通常执行主机(execution host)也被称之为节点。 节点属性 队列、服务器和节点都有与自己相关的属性，这些属性提供控制信息。与节点相关的属性有：状态、类型、虚拟处理器的个数、作业列表(本节点被分配给的作业)以及节点的特性。…… 节点特性 为了提供一组节点的分配的方法，零个或者多个特性被赋给每个节点。这个特性不过是一串对于PBS没有含义的字母和数字的组合(第一个字符必须是字母)。 PBS 安装 解压源文件包 [root@node1 /public]# tar -zxvf openpbs-2.3.16.tar.gz 编译设置 [root@node1 /public/OpenPBS_2.3.16]＃./configure --enable-gui --set-server_home=/var/spool/pbs --enable-docs --x-libraries=/usr/X11R6/lib64 其中，--x-libraries=/usr/X11R6/lib64是在X86_64 (AMD64或EM64T)上安装时，需要指明系统64位库的位置。 编译安装 [root@node1 /public/OpenPBS_2.3.16]# make [root@node1 /public/OpenPBS_2.3.16]# make install PBS在机群上安装 由于节点系统相同，因而可以用如下SHELL script在node2~node8上安装；