MPI并行作业在云计算平台上测试研究.docVIP

MPI并行作业在云计算平台上测试研究 　　摘要：随着并行空间计算任务的不断增多，传统的MPI服务器集群容易出现排队时间长、拒绝服务甚至系统瘫痪等情况。利用虚拟化、作业调度等技术构建云计算平台上的MPI虚拟集群可以提升MPI服务性能，从整体上缩短排队等待的时间，从而使得服务质量QoS（Quality of Service） 得到保证。通过在OpenStack上部署MPI虚拟服务器集群、利用Torque实现MPI作业的调度管理的基础上，使用DEM（Digital Elevation Model） 等高线生成算法组成MPI作业队列，对传统MPI物理集群与MPI虚拟集群进行性能对比分析，结果显示了云计算平台上MPI并行环境在面对大量任务作业时的优势。 　　关键词： 并行计算；云计算；虚拟化；Torque作业调度；DEM；性能测试 　　中图分类号：TP30 文献标识码：A 文章编号：1009-3044（2014）15-3665-03 　　Research on the Testing of MPI Parallel Computing Tasks Based on Cloud Computing Platform 　　ZHAO Wei-biao， WU Jun-feng， YUAN Shuai 　　（School of Resources and Environment， University of Electronic Science and Technology of China， Chengdu 611731， China） 　　Abstract： With the number of the MPI tasks scheduled in the queue rising steadily， to certain tasks， such phenomena will be easily to appear， e.g.， waiting long time， being delayed or even denied to service. Utilizing the virtualization， job scheduling and related technologies in the field of cloud computing can enhance the QoS （Quality of Service） in the MPI server cluster， and the mentioned problem would be solved to a certain degree. In the experiments， some Geo-spatial MPI parallel tasks， the parallel contour generation algorithm from DEM with MPI， are scheduled by Torque PBS to the different computing platforms respectively， i.e.， the combined platform with cloud computing （OpenStack） and parallel computing， and the traditional parallel computing platform. From the simulation tests results， it can be easily found that the combined computing environment has dominant advantages than the traditional finally. 　　Key words： parallel computing； cloud computing； virtualization； Torque PBS； performance test 　　1 概述 　　随着对地观测技术、地面传感器等的不断发展，空间数据的数据量呈现出几何级增长[1]，并由此带来了计算密集（Computing Intensity）、数据密集（Data Intensity）、并发访问密集（Concurrent Intensity）等一系列的空间信息科学计算问题[2]。运用并行计算（Parallel Computing）技术解决空间数据处理问题是高性能地学计算中最为重要的方式之一。并行计算具有原理简单、计算能力强、灵活方便等优点，同时也具有资源利用率低、扩展性差等缺陷，尤其在面对MPI作业队列时易出现排队等待时间过长的问题。面对这些问题，现有解决方式大多是