基于Amazon弹性计算云的高性能计算平台解决方案.docVIP

基于Amazon弹性计算云的高性能计算平台解决方案 　　摘要：该文基于Amazon 弹性计算云（Amazon EC2），结合Platform LSF（Load Sharing Facility）集群调度中间件和Platform Application Center（PAC） 软件，提出了一个在Amazon 弹性计算云上搭建高性能计算平台的解决方案，并为此平台的搭建设计和实现了自动化脚本。与传统的高性能计算平台相比，它实现了计算资源的弹性定制，降低了成本，提高了资源利用率，具有极大的灵活性。 　　关键词：高性能计算；Amazon 弹性计算云；LSF；PAC 　　中图分类号：TP311文献标识码：A文章编号：1009-3044(2011)28-7024-03 　　A Solution of HPC Platform based Amazon EC2 　　LI Jin-long1, ZHU Jie2, LIANG Dian-peng2 　　(1.Information and Control Engineering School, Xian University of Architecture and Technology, Xian 710055, China; 2.Platform Computing (Beijing) Software Corporation Xian branch, Xian 710071, China) 　　Abstract: Based on Amazon Elastic Compute Cloud（Amazon EC2）, together with Platform LSF and Platform Application Center, the paper propose a solution of building High Performance Computing platform, design and implement a automation script. Compared with traditional High Performance Computing platform, it realizes customization of computing resources elastic lowers the cost, increases resource utilization rate, and have great flexibility. 　　Key words: high performance computing; Amazon EC2; LSF; PAC 　　随着信息技术的高速发展，高性能计算（High Performance Computing，）作为计算技术的一个分支得到了广泛的关注和快速发展。高性能计算系统的主流体系结构分三种：共享内存（SM，Shared Memory）、连贯缓冲非统一内存寻址（CC-NUMA， Cache-Coherent Non Uniform Memory Access）和集群（Cluster）。目前对HPC影响最大的是集群，集群是高性能计算平台使用最广泛的一种体系结构构。集群是这样一种技术，它由多台计算机通过集群管理软件联系起来，使多台计算机能像一台计算机那样工作或看起来想一台计算机。本文提出高性能计算平台的解决方案，利用Amazon弹性计算云（Elastic Compute Cloud, EC2）平台，结合Platform Computing 公司的核心集群调度管理中间件LSF（Load Sharing Facility）与PAC（Platform Application Center），使得高性能计算在云上得以实现。 　　1 LSF集群管理调度中间件与PAC 　　Platform LSF 是一个企业级的跨平台的集群管理中间件，LSF使负载平衡，分配资源，同时提供对资源的访问。LSF提供了一个资源管理框架，接受作业请求，将作业分发到最合适的资源上运行，监视作业的运行情况[1]。LSF集群一般由一个LSF 主机（Master host）、若干LSF备用主机（Candidates）和许多LSF从机（Slave host）组成，从机的集合也称为资源（Resource）。LSF主机维持着若干个作业队列，并与LSF的从机间歇性的通信，以得到从机的信息。LSF的备用主机是在主机出现故障以后替代主机的。当向集群提交一个作业时，LSF主机先把作业放到对应的队列中，然后按照一定的均衡调度策略，将作业分发到理想的从机上去执行，并跟踪作业的运行。从机会把作业的运行信息和结果传回给主机。 　　PAC (Platform Appl