云计算环境下计算模型性能优化的研究_推荐.pdfVIP

摘要 云计算给信息技术行业带来了一场新的革命。支撑云计算的关键技术包括虚 拟化技术、分布式文件系统、并行计算技术和非关系型数据库技术等。Hadoop 是一个集各种云计算技术于一体的综合开源云计算平台，主要由HDFS文件系统 和MapReduce计算模型组成。 Hadoop能够利用多台机器组成的集群对海量数据进行存储和计算，具有可 扩展性、容错性和高效性等特点。其中HDFS文件系统和MapReduce编程模型的 实现框架，许多科研人员对其进行了分析并提出了多种改进措施。除了架构外， Hadoop的配置对于系统的性能来说也至关重要。本文主要研究提高Hadoop系统 性能的配置优化方法。 Hadoop通过配置来对整个系统进行管理。Hadoop的配置优化问题是一个复 杂的组合优化问题。各属性问存在依赖和制约关系，设置不合理会导致资源竞争， 系统的整体性能降低。智能算法能够解决组合优化问题。以智能算法为基础，首 先提出适用于特定应用的配置优化策略。然后考虑云计算平台的实际使用情况， 提出一种多应用环境下的系统配置优化模型。 对于具体应用，基于遗传模拟退火算法，将每种配置方案作为染色体，多次 选择、交叉、变异，并结合模拟退火原理，控制新染色体的存活和整个算法的迭 代次数，寻找出最优的系统配置方案。实验结果表明该方法能有效提高作业的运 行效率，并且迭代结束时群体的整体效果都非常好。 对于具体应用，基于混沌粒子群算法，将每种配置方案作为粒子的位置，通 过粒子的不断运动来寻找最优配置。为使算法既能进行全局搜索和局部搜索，同 时又能避免过早陷入局部最优，采用基本粒子群算法和权重系数改进、最大速度 改进、混沌算法相结合的处理方法。实验结果表明该方法也能明显提高系统的效 率，得出的最优配置具有稳定性，并且该方法实现简单，迭代次数少。 对于实际运行的整个系统，需要处理各种类型的作业，因此考虑多种应用， 提出一种自适应的系统配置优化方法。这种方法根据云计算平台的作业特点分两 种情况进行处理。当系统中的作业类型比较相似时，根据遗传模拟退火算法整体 都朝最优解接近的特点，以遗传模拟退火算法为基础，提出即时优化的配置模型； 当系统中的作业差别较大时，提出经验参照的模型，依据数据库查询进行系统配 置，当数据中不存在该类型作业的配置信息时，考虑混沌粒子群算法简单快速的 特点，基于混沌粒子群算法寻找系统的最优配置，并将新的配置记录添加到数据 库中。 关键词：云计算Hadoop性能优化遗传模拟退火算法混沌粒子群算法自 适应配置模型 IV ABSTRACT Cloud has anewrevolutionintotheIT computingbrought industry．The key ofcloud includevirtualization file technologiescomputing technology,distributed database SOon． systems，parallelcomputingtechnologies，NoSQLtechnology,and isan source cloud a ofcloud Hadoopopen computingplatformsynthesizingvariety consistsofHDFSfile and computingtechnology,mainly systemMapReduce model． computation can and massive Hadoops