面向Web高性能计算集群作业调度系统.docVIP

面向Web的高性能计算集群作业调度系统 　　摘要：目前高性能计算机集群的作业提交和运行状况反馈大多是基于linux系统的命令行方式，该种操作需要操作人员对Linux系统和高性能计算机集群命令有一定的了解。对非计算机专业人员而说，使用高性能计算机集群非常不方便。基于这一现状设计了一个基于Web提交的高性能计算机集群作业调度系统，系统主要有作业提交、作业查询、用户信息修改查询和记录操作等功能。Web前端通过Http协议将用户请求和数据传输到后台服务器，后台服务器通过过滤器拦截提取分析用户请求，根据用户请求通过ssh安全协议将文件提交到作业调度系统，执行命令。实现了用户通过图形界面友好方便地使用作业调度系统 关键词：计算机集群；java web；作业调度系统；ssh协议；界面功能 中图分类号：TP311 文献标识码：A 文章编号：1009-3044（2016）27-0205-03 Abstract： Many health of university high-performance computer clusters out of the feedback information is based on linux system shell interface， this interface is neither beautiful nor convenient for people operating and requires professional and technical personnel input command character. Based on this situation we designed a high-performance computer cluster a Web-based system is divided into two parts， user interface and administrator interface， there are two parts in job submission， job queries and query records and modify some of the information function， the operating system becomes visual query without having to enter the command character， simply click interface， graphical components， feedback out of the information displayed on the web naturally interface. Key words： computer clusters； web； job actions； feedback； interface features 1 背景 高性能计算技术目前已越来越广泛的用于科学计算、金融分析、气象预测等多个领域。人们对于大规模计算的需求急剧增加。由于高性能计算机的操作要求较高，需要用户对linux系统和作业调度系统有一定的了解，并熟练掌握作业调度系统的命令。这对于非计算机专业的使用人员来说并不友好：第一，他们需要的是对高性能计算机集群的操作，对学习linux系统和集群命令并不感兴趣；第二，使用命令行来进行操作十分复杂，需要使用者对集群的架构十分清楚 基于以上原因，本工作本着操作简化的原则，研制了一个基于WEB提交查询作业的作业调度系统，通过WEB界面上的图形组件直接与安装在集群上的作业调度系统进行通信 2 关键技术 本工作使用动态网页技术标准JSP，涉及JAVA编程语言、ssh传输协议、SQL数据库，以及TORQUE高性能集群作业管理系统和Linux操作系统 3 系统结构功能分析 3.1 系统的结构 系统用户分为普通用户和管理员两类：普通用户实现作业提交、作业查询、用户信息查询修改和操作记录查询功能；管理员在普通用户功能的基础上增加了控制用户和控制计算作业的功能 系统结构图如图1 4 模块分析 4.1 作业提交模块 Web前端通过html的file标签获取本地要提交的作业，通过http协议提交到服务器中，在获取本地文件的同时，还需在网页上填写或选择脚本信息，数据提交到web后台处理，在服务器本地中生成脚本文件。然后通过ssh协议，将获取到的作业和生成的脚本文件提交到远程作业调度系统中，再通过ssh协议向作业调度系统发出提交作业的命令，实现向作业调度系统提交作业的功能。如果脚本文件是windows/Dos环境下生成的，还需要