SGE調研报告.doc

SGE调研报告 一．总体介绍 SGE，Sun Grid Engine,是sun公司开发的一款基于网格的资源管理软件，它接受用户提交的作业，并使用资源管理策略安排作业在网格内适当的系统上运行，用户可以向网格提交批处理作业、交互式作业以及并行作业。 Grid Engine 系统是一种先进的资源管理工具，用于管理不同种类的分布式计算环境。工作负荷管理意味着对共享资源的使用进行控制，以最大限度地实现企业的目标，例如生产率、时间限制、服务水平等等。工作负荷管理通过管理资源、执行策略完成。站点配置确保系统实现使用率和生产量的最大化，同时使系统支持不同的时间限制和重要级别。 SGE软件分为三个模块，sge_qmaster,sge_schedd,sge_execd,根据运行的模块不同，服务器在群集中的功能也不同，分别为：主控主机，管理主机，执行主机，提交主机。 主控主机。主控主机是所有群集活动的中心。主控主机运行主守护进程sge_qmaster。sge_qmaster 控制所有的Grid Engine 系统组件，例如，队列和作业。它还维护着有关组件状态、用户访问权限等内容的表格。主控主机通常运行调度程序sge_schedd。除了安装过程执行的配置之外，不需要对主控主机进行进一步的配置。 执行主机。执行主机是拥有运行作业权限的节点。因而它们控制队列实例，并且运行执行守护进程sge_execd。 管理主机。可将权限授予除主控主机外的其他主机，以进行各种管理活动。请用以下命令安装管理主机：qconf -ah hostname 提交主机。提交主机仅用于提交并控制批量作业。特别地，登录到提交主机的用户可以使用qsub 提交作业，使用qstat 控制作业状态，或者运行图形用户界面QMON。请使用以下命令安装提交主机：qconf -as hostname 注:一台主机可以运行多个模块，具有多种功能。 Grid Engine 系统执行以下任务： 接受外来作业。作业是指用户对计算机资源的请求。 将工作放入留置区域直到可以运行该作业。 将作业从留置区域发送到执行设备。 管理正在运行的作业。 作业完成时，将作业执行记录写入日志。 二．功能与使用 1. 资源管理 在SGE中，可以自定义可使用管理的资源，典型的可使用资源包括： 可用的空闲内存 软件包使用的许可证 可用的磁盘空间 网络连接中可用的带宽 资源属性的定义包括以下内容： 属性名称 引用属性名称时的简称 属性值的类型，例如， STRING 或TIME “Requestable” 标志，决定着用户是否可以为作业请求该属性 “Consumable” 标志，将属性标识为可使用的资源 默认的请求值，如果作业没有明确指定对属性的请求，则将默认的请求值视为可使用的属性 “Urgency” 值，逐一考虑每种资源，然后确定作业优先级 可以按下方式使用资源属性： 作为队列资源属性 作为主机资源属性 作为全局资源属性 2. 作业的提交与管理 (1) 提交作业 在SGE中，作业是以脚本方式提交的，可以通过命令行提交，也可以在图形界面qmon中提交，在提交的同时可以定义作业的相关属性，这些属性将决定作业的调度和运行，常见的属性有： Prefix – 脚本嵌入提交选项使用的前缀字符串。 Job Script – 使用的作业脚本。 Job Tasks – 提交阵列作业的任务ID 范围。 Job Name – 作业的名称。选择作业脚本之后会设置一个默认名称。 Job Args – 作业脚本的自变量。 Priority – 用于设置作业初始优先级的计数框。此优先级用于排列某用户多个作业的顺序。当用户在系统中同时有多个作业时，优先级会通知调度程序如何在单个用户作业中进行选择。 Job Share – 定义相对于其他作业的作业票券份额。作业份额只影响份额树策略和职能策略。 Start At – 作业符合执行条件的启动时间。 Project – 作业所属的项目。 Current Working Directory – 表明是否在当前工作目录执行作业的标志。仅在提交主机和可能的执行主机之间具有同样的目录层次时才使用该标志。 Shell – 用于运行作业脚本的命令解释器。 Merge Output – 指明是否将作业的标准输出和标准错误输出合并为标准输出流的标志。 stdout – 要使用的标准输出重定向位置。 stderr – 要使用的标准错误输出重定向位置，类似于标准输出重定向。 stdin – 要使用的标准输入文件，类似于标准输出重定向。 Request Resources – 单击该按钮定义作业的资源需求。 Restart depends on Queue – 单击该按钮定义在系统崩溃或类似事件终止作业后，作业是否可以重新启动。该按钮还