支持Hadoop配置地异构虚拟机平台地研究.pdf

支持Hadoop配置的异构虚拟机平台的研究 摘要：随着云计算技术的发展，各种大小不一的数据中心纷纷出现， 而这些数据中心往往存在各种虚拟机管理平台(如Eucalyptus， 理平台要求不同的运维、开发技术和经验，不同管理平台间的服务 器资源不能动态共享，影响了弹性服务的性能。同时由于平台中的 不同的机器配置进而也将影响其上层运行的云计算应用。Hadoop作 为已广泛应用于数据密集型计算的云计算应用之一，其中的 MapReduce框架可配置参数的正确配置对计算的性能有着不可忽视 的影响。然而，当遇到异构的Hadoop集群时，用户一般只能使用默 认配置或者依照经验进行手工配置，由于参数调优时可选择的空问 很大，这样常常会导致错误地配置致使计算性能下降。 针对多种多样的虚拟机平台的问题，本文设计并实现了一个异 构虚拟机管理平台。在不需要改变既有的虚拟机管理平台结构的基 础上，实现对现有主流的虚拟机管理平台的统一管理和控制、虚拟 资源的均衡分配；同时还提供可扩展的适配层接口和驱动部件，支 持其它异构的虚拟机供应和管理平台。 针对异构虚拟机平台上的Hadoop应用的问题，本文提出了一种 基于增强学习的MapReduce在线参数自动配置方法。该方法利用离 线学习粗粒度地创建初始化策略，在线学习根据策略细粒度地配置 参数，并通过试错法迭代地更新Q值表使得配置结果接近最优。实 验结果表明，该配置方法可以有效地提高Hadoop的性能，并且能快 速迭代实现收敛，使运行MapReduce任务的机器资源得到充分使用， 缩短任务的运行时间。 本文共有图20幅，表11个，参考文献51篇。 关键词：云计算；虚拟化；Hadoop；增强学习 分类号：TP399 II Researchon Virtual MachinePlatformof Heterogeneous Supporting HadoopConfiguration Abstract：Withthe ofcloud development computingtechnology，data centerswithvarioussizeshave been thesedatacenters appearing，but oftenwith variousvirtualmachine managementplatformsfe．g． differentdemand scenarios，different different management platformrequires maintenance， skillsand serverresourcescannotbe developmentexperiences，while shared betweendifferent dynamically management the oftheelastic performance service．The ofcloud performance whichare on