基于多变量动态算法的hadoop负载均衡优化与实现 optimization and realization of hadoop load balance mechanism based on a multivariable dynamic evaluate threshold algorithm.pdfVIP

研究与开发 基于多变量动态算法的Hadoop负载均衡优化与实现木 武娟1，黄海1。钱锋1。李拥军2，寿质彬2 曛絮柔芝裟羹蓑莩磊数然篙昙薹羹纂塞瓣誓姜会要瓣 繁忙程度。动态估计均衡器的阈值，并给出了与估计阈值相关的计算公式，在此基础上采用集群 系统对上述算法进行了测试验证。实验结果表明，对比Hadoop系统自带的需要固定阈值的均衡 器，新方法能在均衡过程中利用系统相关信息动态估计阈值，对Hadoop的负载均衡优化取得更 加令人满意的效果。 关键谖 云计算：Hadoop分布式文件系统；负载均衡；阈值 文献标识码A 处理。以保证每个DataNode的文件块数量均衡。 1 引言 对于第一个均衡机制而言，根据Hadoop源码分析可 云计算是一种基于互联网的、大众参与的计算模式。 以得出Hadoop默认的数据块放置策略圆是在本地机架某 其计算资源是动态、可伸缩、虚拟化的．而且以服务的方式 台DataNode放置一个数据块副本。另外一个数据块副本存 放在不同(远端)的机架上的某台DataNode上，最后一个数 提供。Google是云计算研究的先驱者，陆续提出GFS模型、 据块副本放置在同一个远端机架的另外一台DataNode上。 MapReduce模型、BigTable模型，同时在Apache网站上发 这种策略减少了机架内的写负载．从而总体上提高了写性 布MapReduce和GFS对应的Hadoop开源项目．它是一个 运行在由大量廉价机器组成的集群上的分布云计算系统。 能。由于整个机架失效的概率要比单个节点失效的概率小 得多．因此这种方法不会影响数据的可靠性。但是，采用这 具有廉价、高效、可靠以及可伸缩等特点fIl。Hadoop利用 种策略，文件块并不是均匀地放置在HDFS里，2／3的数据 NameNode节点管理Hadoop集群．DataNode节点保存数 据，并且引入了负载均衡机制。其负载均衡包含两方面含 块被放置在了同一机架上。另外1，3被放置在了另一个机 义：其一是在保存文件和数据时，将文件块保存任务平摊 架上。当然，可以通过改变Hadoop数据块放置策略来优化 分给每个DataNode，让每个DataNode均匀保存一定数量其负载均衡机制。比如通过评价函数13】和加权二叉树【4l进行 的文件块；其二是当系统出现负载不均衡时(如系统加入 数据节点的选择等，都可以有效地避免集群在存储数据时 新的节点或现有节点发生故障)，HDFS可以进行系统均衡造成的负载不均衡。 对于第二个均衡机制而言．则是在整个集群的负载不 +国家自然科学基金资助项目(No，广东省科技计划基 均衡的情况下进行的。比如当集群里增加了新的 金资助项目(No．20118010200039，No．20108090400436)，广州市 科技计划基金资助项目fNo．11 万方数据 研究与并发 态两因素。因此，必须对时间和空间做出权衡以 DataNode的存储空间是很低的。如果新增加的DataNode 为几十个，则造成集群负载的严重不均衡。此时，需要人工 保证