sge培训.pdf

SGE简介 上海承蓝科技股份有限公司 2017年10月 目录 CONTENTS 1 SGE概念 2 系统资源 3 提交任务 4 监控任务 2 SGE概念 PART 1 节点 用户 工作流 3 基本概念 SGE （Sun Grid Engine），作业调度系统。 SGE接受由用户提交的作业，并根据资源管理策略将作业安 排在集群内适当的系统上执行，用户一次可以提交多个作业，而 不必考虑它们在何处运行。集群网格包括许多计算资源，SGE可 以合理的分配计算资源给用户。 4 基本概念 SGE依据管理者制定的规则，检测到集群内的所 有可用资源，聚集资源，并在该集群内自动地最优地 分配资源。 5 基本概念节点 • 主控节点 主控节点是所有集群活动的中心，控制SGE系统组件。一般情况，主控 节点也是管理节点和提交节点。 • 执行节点 执行节点有权限执行作业的系统，执行节点有附加到它上面的队列。 • 管理节点 管理节点有权运行SGE系统的任何类型的管理操作。 • 提交节点 提交节点只允许用户提交和控制批处理作业。具体说，用户登录后，可 以使用qsub命令提交作业，使用qstat命令监控作业状态。还可以使用图 形用户qmon。 6 基本概念用户 • 管理人员 管理人员拥有完全操作SGE系统的能力。默认情况，管理主机的超级用 户都具有管理人员权限。 • 操作员 操作员可以执行很多管理人员命令，但是进行配置更改除外。 • 拥有者 队列拥有者可以暂停或者启动其拥有的队列，还可以暂停或启动其拥 有的队列中的作业。队列拥有者没有其他管理权限。 • 用户 用户有一定的访问权限。用户没有集群管理或者队列管理能力。 7 基本概念工作流 （1）用户通过SGE提交任务的时候描述任务的相关信息，如可用的队列， 作业需要分配的内存和CPU等信息。当用户没有描述清楚这些信息的时候， SGE必须检索用户的身份、用户与项目、所属用户组的从属关系，提交作 业后这些检索信息也将被存储起来。 （2）SGE计算用户可用队列的可用内存，负载情况，然后为队列选择 合适的作业，为作业选择合适的队列，优先分派具有最高优先级或等待时 间最长的作业。SGE允许同时执行多个作业，SGE系统将尽量在负荷最小且 最适合的队列中开始新的作业。 8 基本概念工作流 SGE通过以下流程工作： a ）接受用户投放的任务 b ）在任务运行以前，将任务放到一个存储区域 c ）发送任务到一个执行设备，并监控任务的运行 d ）运行结束写回结果并记录运行日志