基于性能预测的Map Reduce负载均衡优化.pdfVIP

2015年第2期总第170期 S-L●C0N VALLEY 基于性能预测的MapReduce负载均衡优化 孙 闯’，尹长青 ’，宋善威 (1．同济大学软件学院 ，上海 201804；2．同济大学设计创意学院 ，上海 201804) 摘 要 Hadoop作为一个开源云计算框架 ，因为其优秀的分布式存储能力及其上运行的NapReduce计算框架 ，越来 越多的公司用Hadoop处理庞大的数据。负载均衡对分布式计算的性能有重要影响 ，Hadoop基于最简单的hash算法 对任务进行分派 ，并没有对异构环境及多任务运行环境的因素做过多考虑。为了解决上述存在的不足 ，我们提出一种 负载均衡框架 ，对计算节点的性能情况进行监控 ，预测节点的计算能力 ，依据预测结果来对MapReduce的计算任务 进行分配 ，从而最大化分布式集群的计算能力。 关键词 Hadoop；MapReduce；负载均衡 ；性能预测 中图分类号 ：TP311 文献标识码 ：A 文章编号 ：1671—7597(2O15)02-0063-02 随着互联 网络、智能设备的迅速发展 ，每个人每天在网 2可用计算节点性能估算 络上都会产生大量的数据 ，对于企业来说 ，对于大数据的存储 1)性能定义。 与处理越发显得重要。在 Hadoop上面的MapReduce是一个强 为 了对分布式节点的运算能力进行估算 ，首先需要对分布 大的分布式计算框架。它的执行包括两个基本 的函数 ：Map和 式计算节点的计算能力进行建模 。计算节点的性能指标通常由 Reduce。对于一个计算任务 ，框架会把任务分成一些Map与 cpu速度 、内存容量、磁盘读写速度、网络带宽等多种因素相关 ， Reduce作业 ，s每个作业在不同的计算节点上并行执行 ，良好 为了简化性能评估模型 ，本文只对 cpu计算速度指标进行研究。 的调度算法能够显著的提高系统的并行性、资源利用率 ，使系 对于 cpu的计算速度来说 ，最基本的评价要素为 cpu的主频、 统达到负载均衡。 多核能力与并行能力。 对于MapReduce操作的负载均衡是困难的 ，默认的Hadoop 我们定义 cpu的主频为 P，核心数为N，并行能力为n。则 调度算法根据数据本地性原则选择合适的节点执行Map作业 ， 每个核心的总计算能力为 ： 对于Reduce操作则采用 hash算法来把不 同key的数据分给 =jP．({from 1to奶 不 同的Reduce作业。默认的调度算法有两个 明显的问题 ，首 2)可用计算能力估算。 先 ，该算法没有对异构环境进行考虑 ，对于大规模的分布式集 基于Hadoop上构建的分布式性能监控框架 ，主节点可 以实 群来说 ，很难保证机器的同构性 ，因此 ，若对性能不同的机器 时采集各个分布式节点的当前性能指标 ，我们采用指数平滑估 上执行相 同的Reduce作业 ，必然会导致执行效率变低 ；其次 ， 计对每个 cpu核心的使用频率进行预测 。预测将来 t个时间的 Hadoop是一个可 以执行多任务的系统 ，当前环境下可能已经有 一 cpu使用频率 ，定义在 t时间的cpu使用频率为 ，总时间cpu 些任务正在运行 ，那么每个节点的剩余计算能力也不相同 ，