北京师范大学作业调度软件 - 北京师范大学信息科学与技术学院.ppt

* 还有节点分配策略的需求 作业提交后，可能要等比较长的时间排队等待调度，作业提交人员不能一直守在电脑旁边，希望及时获得，作业执行状态的信息。便于排错和处理。 作业提交后，可能要等比较长的时间排队等待调度，作业提交人员不能一直守在电脑旁边，希望及时获得，作业执行状态的信息。便于排错和处理。 * * 浪潮HPC作业管理系统是一个支持web图形和命令行方式进行作业管理的软件 * * * * 浪潮HPC作业管理系统是一个支持web图形和命令行方式进行作业管理的软件 * * * * 北京师范大学 作业管理软件 介绍 Overview HPC集群作业管理系统介绍 TSJM V2.0主要功能介绍 TSJM V2.0高级功能介绍 HPC集群主要作用 运行科学计算任务 流体力学 ：fluent 分子动力学 ：vasp 生命科学：named 基因测序 ：blast 材料学 : material stutio 地质 航天 气象 在集群中每个计算任务称之为一个作业 作业管理系统简介 作业管理是集群管理的重要组成部分 几百台服务器 几十种应用，上百个用户 每天提交成百上千个作业，同时有几百个作业在运行 每个作业占用几十个节点，运行几天，甚至一个月 资源使用统计困难 手动管理作业已经不可能，需要专门的作业管理系统统一管理集群中的资源和作业，规范作业的提交方式，按照一定的规则给作业分配资源，并对作业的资源使用情况进行统计。 浪潮天梭作业管理软件2.0模块组成图 浪潮HPC作业管理软件功能模块 包括状态管理、系统管理、作业管理、策略管理、统计管理、以及用户管理六个功能模块 浪潮天梭作业管理软件2.0模块组成图 作业模块是整个系统的中心，其他的功能模块都是围绕作业服务的 作业管理 作业提交： 命令行作业提交 Web图形界面作业提交 上传应用算例 上传作业脚本 编辑或新建作业脚本 通过应用模板提交 高级属性设置 作业提交界面简洁明了，符合用户的使用习惯 作业管理 查询作业状态： 查询作业详细信息 查询作业输出内容 查询作业调度日志 通过图形界面可以方便的查看作业的调度及运行信息 作业管理 作业控制： 强制执行作业 删除作业 停止作业 设置checkpoint 重新运行作业 作业模板管理 应用模板管理，将常用应用设置为模板，可实现作业的快速提交 对MPICH/MPICH2/Vasp/Fluent/Wien2k/ Gaussian/ Materials Studio等以上目前国内最常用的应用软件提供应用模板或作业脚本支持 支持用户自定义应用软件模板 状态监控 监控当前系统中的作业情况 监控集群中的整体资源使用情况，包括CPU，MEM以及各节点状态 管理员可以掌握实时掌握系统运行状态以及集群资源使用情况 系统管理 集群管理 支持多集群管理 实时查看集群资源使用率及节点的状态和负载情况 系统管理 批处理器管理 查看并设置批处理器属性 系统管理 队列管理管理 查看并设置当前集群系统中的队列及其属性 系统管理 功能池管理 对集群资源进行逻辑分区，运行相同应用的节点划分到同一个功能池中，合理利用资源 策略管理 为了合理并充分利用其群资源，需要对集群中的用户进行资源的限制，对作业执行的顺序设置合理的规则，为资源的分配设配合理的策略 信任域优先级策略 作业回填策略 节点分配策略 公平共享策略 资源预留策略 通过设置这五种策略的具体参数值，可以满足客户各种需求 策略管理 公平共享：可以统计用户的资源使用量，并设定公平共享的调度策略，使作业管理软件能具有根据用户资源使用量的多少来合理调度用户作业。例如：某用户的资源使用过多，软件可以自动降低该用户作业的优先级，并优先执行资源使用量少的用户的作业，这样就保证了各用户之间可以公平的使用集群系统中的资源，解决资源分配不均衡问题 资源预留：可以进行资源预留，将某个或几个计算资源，在某段时间预留给某个用户/用户组或者队列，对比较重要的用户进行资源预约 资源回填策略：可以通过设置回填量度、回填深度设定资源回填策略，提高计算资源利用率 策略管理 统计管理 统计用户使用的各种资源情况，能根据管理员的记账配置信息，生成记账信息，为用户记账和付费提供依据 将报表导出为PDF或XLS文件 统计管理 统计用户完成的每个作业的资源量，并对其进行计费 将报表导出为PDF或XLS文件 统计管理 统计集群完成的所有作业的资源使用情况，并根据作业的运行时间和作业消耗资源绘制图表 管理节点 计算节点 千兆网络 IB网络 管理网络 . . 高级功能-选择网络 计算网络的选择 用户在提交作业时，可以根据需要选择作业运行的网络；例如：某些应用在管理网络上提交后，可以根据需要，设定运行在哪个计算网络（千兆计算网络/IB计算网络/万兆计算网络） 高级功能-作