基于多变量动态算法的Hadoop负载均衡优化与实现.pdfVIP

鞣 究尊拜发 DataNode的存储空间是很低的。如果新增加的DataNode 态两因素。因此 必须对时间和空间做出权衡以 为几十个，则造成集群负载的严重不均衡。此时，需要人工 保证运行时更倾向于运行时间还是运行后的空 对Hadoop集群进行负载均衡。在HDFS里，通过手动调用 间状态。 ~ b(alancer)设置阈值(threshdd)达到负载均衡，threshold · 基于Hadoop提供的均衡器程序上进行改动，在尽 取值范同为0％一loo％(默认是 10％)。threshold设置越小， 可能不改变其他模块的基础上．必须让threshold取 那么HDFS各个DataNode的使用率越接近．整个集群也更 值为0100来满足均衡器的正常运行。 加平衡．但会需要消耗更多的时间和资源来达到该平衡状 · 随着参数 1的增大，即系统空问利用率变得不均衡 态。对于操作非常频繁的HDFS集群，可能永远不会达到 了．均衡器程序应该适当减小threshold以保证在运 threshold所指定的平衡状态。threshold设置得越大，那么 行完均衡器程序后系统负载是均衡的。 HDFS各个DataNode的使用率差距越大．容易达到指定 · 随着参数2的增大，即系统变繁忙了。均衡器程序 状态，但HDFS可能不是一种均衡的状态。因此，threshold 应该适当增大threshold，以保证均衡过程不会因为 取值不应该过小也不应该过大，既要保证集群的均衡状 threshold过小且系统过于繁忙而一直运行下去。 态，又要让均衡器程序能够达到给定的HDFS状态。 基于上述要求，设计的计算threshold的式子如下： threshold=(1一k)x(max-a)+kxb 2 基于多变量动态 Hadoop的负载均衡 其中，k是权重，取值0一l，a是参数1，b是参数2， 优化 mo,gc是集群里偏移均值的最大值。 针对Hadoop负载均衡的不足。设想在每次均衡器迭 由于均衡器程序里定义磁盘空间使用率范围在0— 代前，获取系统相关信息来评估threshold的值，在均衡 100．故参数moN取值是O100。并且标准差是各个样本到 器程序运行时动态改变threshold的值以达到实时控制 平均使用率的平均距离，因此，参数l的取值是0100，且 均衡器的运行状态 。而不是使用一个 固定不变的 maxa。参数2是超过平均连接数的DataNode的百分比乘 threshold值。 上 100。因此，参数2的取值也为0—100。参数max、参数l、 本文依据系统两个信息参数来评估threshold的值：所 参数2和 的取值保证了计算出来的threshold取值为0— 有DataNode的使用率的标准差：大于系统平均连接数的 100。避免计算出的threshold为0，一旦计算出的threshold DataNode的百分比 为0，那么将 自动被改成l0。同时，在计算参数 1时，程序 参数1即代表了整个集群里磁盘空间使用率的分布 首先计算一下集群整体的标准差，然后再检测每个样本， 状况，参数l越大，说明集群负载越不均衡；相反，越小说 除去那些高于或低于2倍标准差的异常样本，重新计算参 明集群越均衡。同时，参数 1代表了评估时候的均衡器运 数1，从而保证计算出来的threshold不会因为个别不正常 行时的集群空间因素。 的DataNode而受影响。即防止如果集群大部分节点都处 参数2即代表了整个集群里的集群繁忙状