并行应用在云模拟器中的仿真SaurabhKumarGargandRajkumar.doc

并行应用在云模拟器中的仿真 Saurabh Kumar Garg and Rajkumar Buyya 墨尔本大学云计算与并行系统实验室 摘要：随着对于云计算中的各种应用迅速发展，理解这些应用程序和系统是如何部署在云中变得十分重要。由于共享资源的规模和复杂性，理解云实验平台中新的调度和读写算法变得极为困难。因此，模拟工具在评估云计算模型时变大越来越重要。模拟工具可以使研究者在分析一个大型的复杂的云架构时，快速评估其使用算法的效率，性能和可靠性。然而，当前已有的解决方案有的缺少高级的应用模块，比如消息传递程序和工作流，有的在数据中心缺少可扩展的网络模块。为了解决这些问题，对当前流行的云模拟器（CloudSim）进行了扩展，添加了一个可扩展的网络模块和通用的应用程序模块，可以对调度和数据读写策略能够被更精确的分析，进而优化云框架的性能。 关键字：云计算，建模和仿真，并行应用 简介 当前，云计算范例已经快速引起了研究人员，商人，消费者和政府组织等各种团体的关注。由于云计算提供的资源的易伸缩，可扩展等优点，云服务的使用者们在探索在这种可扩展的平台中高效的，低廉的执行他们的应用程序的可能性，比如高性能计算（HPC），电子商务，网络社区和在线应用。为了有效的应用云资源，应用程序必须适应于这一新的环境，而调度方案也需要进一步研究以提高性能。同样的，云提供商也需要决定合适的配置和调度策略以使其计算资源，网络资源和存储资源被有效利用，让不同的类型的应用程序在使用中可以实时并且相互隔离。 对于云计算中尚在实验的各种解决方案的评估由于多种原因十分困难。首先，公有云具有时刻变化的需求，服务模式，系统规模和资源（硬件，软件，网络）。由于云资源所具有的不稳定性，在同样的场景中比较不同的解决方案很困难。其次，在测试云系统或者应用程序的性能时所需要涉及的因素太多，比如用户的QoS需求，时刻变化的网络负载和多个网络及计算单元之间的相互影响。再次，真实的对如此大规模的并行平台进行试验所耗费的时间极大，有些时候在不同条件下进行联合测试几乎不可能。因此，一个更加可行的方法是使用仿真架构，在一个模拟的环境中可以进行可控的试验，获得可重现的结果并且进行不同解决方案的对比。 尽管在仿真器中进行云计算的程序原型设计和新的调度算法的研究有诸多好处，当前只有少数一些仿真器可以建模一个真实的云环境。要在云环境中评估一个新的调度算法，仿真器需要能够让使用者定义两个关键的元素：（1）在云中建立目标程序的程序模型，典型的如一系列的计算任务和任务之间的数据通讯；（2）一个具有现有资源特点的云计算数据中心平台模型，这个模型还要包含将资源链接起来的网络。当前云中部署了来自工业组织和科研组织的各种各样的应用。工业应用包括了从简单的在线应用到复杂的商业工作流，同样的，科研应用包含了气候模型，药物设计以及蛋白分析等各个领域，涉及了大型并行应用到消息传递应用。在这些平台中，云计算由于面向服务的特点，与传统的并行计算平台有很大的区别，比如资源可变，服务的并行级别，资源的多用户租赁等等。 CloudSim和GreenCloud是当前针对云的两个可行的仿真方法，它们把数据中心的资源看做一个虚拟机的几个。因此整合了一个不具有任何通讯任何的极其简单的应用程序模块，和数据中心的一个精简版的网络模块。这些应用和平台模块在一些单服务器的在线应用或是无参数应用程序等类型的应用中能够胜任，但是不适用于模拟一个运行着不同类型应用程序具有不同消费者的真实的云计算环境。例如精确评估一个科研应用的调度算法，并行消息传递程序，多层在线应用程序等，这些需要数据中心具有一个内联的网络模块。由于当前的云仿真器无法同时提供这些功能，将可能导致数据中心解决方案的结果不真实或是应用程序的通讯进程解决方案不准确。 为了克服当前云模拟器的局限性，我们开发了一个名为NetworkCloudSim的仿真架构，它可以模拟真实的云数据中心和如HPC，电子商务，工作流等类型的通用程序。这个架构最大的变化在于它的程序模块和网络模块足够复杂，可以捕捉真实云数据中心的相关特性，而在进行分析时又极其简单。我们的仿真框架是基于CloudSim的扩展，在其中我们重点关注了如何对数据中心的内部网络和程序进行建模。我们所做的主要工作如下： 我们设计了一个新的云仿真框架NetwrokCloudSim，它具有比任何其他云仿真器更加逼真的程序模块。这个仿真框架的组件做为当前广泛使用的云仿真器CloudSim的一部分，被用于具有通信机制的任务，比如MPI,工作流等。 我们在云数据中心设计了一个可以共享带宽和延迟的网络流模块，一边规模化的快速仿真。仿真器中的大多数参数都是可配置的，可以让研究人员仿真各种类型的网络拓扑。 我们给出了一个评估试验，用以证明在给