云计算中的网络拓扑设计和Hadoop平台的研究.pdfVIP

摘要 摘要 云计算是2007年底正式提出的一个新的概念，它可以说是一个革命性的创 新，意味着计算能力也可以作为一种商品进行流通，就像煤气、水电一样，取 用方便，费用低廉，不同之处只是在于它是使用互联网进行传输的。至今为止， 并把云计算作为其未来发展的最主要战略之一。因此，云计算的研究不但紧跟 业界技术发展的趋势，同时还具有较高的应用价值。 ． 在云计算系统的后端，有成千上万的服务器，如何有效组织如此大量的服 务器是云计算系统高效稳定运行关键问题之一。一个合理的网络拓扑不但可以 提高网络的性能，而且能够保证网络的稳定性，使网络在部分节点或链路故障 或拥挤时也能正常工作。云计算系统后端的网络拓扑特性有别于一般的网络拓 扑，需要我们重新考虑和研究。 Hadoop是一个在集群上运行大型数据库处理应用程序的开放式源代码框 架。它支持通过Google的MapReduce编程范例来创建并执行的应用程序，在很 多大型网站上都已经得到了应用，可以说是目前最为广泛应用的开源云计算软 件平台，但其发展时间较短，研究还不够深入，还有较多值得改进的地方。 本文主要研究工作和贡献如下： 1．通过调研云计算的网络需求，分析云计算的网络拓扑结构特点，提出云 计算网络拓扑结构应该由中心的主干交换部分和外围的树状子网组成的基本构 想；利用图论和最优化理论，基于贪心算法思想，针对其主干交换网络的拓扑 设计，提出了自动拓扑设计算法RGA并仿真实现。实验结果表明，与已有算法 比较，所提出算法更为有效。 2．通过调研Hadoop的相关资料，在实验室搭建配置了8台PC组成的Hadoop 平台；对Hadoop的MapReduce工作模式进行分析，针对它的多任务调度，提出 了基于优先级的加权轮询算法(PBwRR)，并在Hadoop平台上编程实现。实验结 果表明，与Hadoop平台默认使用的FIFO调度算法相比，所提出的算法一PBWRR 的性能更加优越。 最后我们对论文工作进行了总结，并讨论了对进一步工作的展望。 关键词：云计算网络拓扑设计贪心算法Hadoop映射一规约任务调度 Abstract ABSTRACT Asanew intheendof isa 2007，cloud conceptproposed computinggreat revolutionintheITfield．Itmeansthat callbeusedasa computing commodity,like coal or differencebetweenthemisthatcloud only computing gaselectricity．The the to transportsby computernetworks．Up andsomeotherfamous have theircloud cooperationsproposed computing takecloud asoneofthemost inthe computing importantstmtage application，and future． Inthebackendofcould arethousandsofservers．How