基于增量式分区策略的犕犪狆犚犲犱狌犮犲数据均衡方法-计算机学报.PDFVIP

第 卷 第 期 计 算 机 学 报 ３９ １ 　 　　 　　 　　 　　 Ｖｏｌ．３９ Ｎｏ．１ 年 月 ２０１６ １ ＣＨＩＮＥＳＥＪＯＵＲＮＡＬＯＦＣＯＭＰＵＴＥＲＳ Ｊａｎ．２０１６ 　 基于增量式分区策略的犕犪犚犲犱狌犮犲数据均衡方法 狆 王 卓 陈 群 李战怀 潘 巍 尤 立 　 　 　 　 （西北工业大学计算机学院 西安 ７１００７２） 　 　 摘 要 ＭａＲｅｄｕｃｅ以其简洁的编程模型，被广泛应用于大规模和高维度数据集的处理，如日志分析、文档聚类和 　 　 ｐ 其他数据分析 开源系统 很好地实现了 模型，但由于自身采用一次分区机制，即通过 ／ ． Ｈａｄｏｏ ＭａＲｅｄｕｃｅ Ｈａｓｈ ｐ ｐ 分区函数对数据进行一次划分，导致在处理密集数据时， 端常会出现数据倾斜的问题 虽然系统为用 Ｒａｎｅ Ｒｅｄｕｃｅ ． ｇ 户提供了自定义分区函数方法，但不幸的是在不清楚输入数据分布的情况下，数据倾斜问题很难被避免 为解决数 ． 据划分的不均衡，该文提出一种将分区向 指派时按照多轮分配的分区策略 该方法首先在 端产生多 Ｒｅｄｕｃｅｒ ． Ｍａ ｐ 于Ｒｅｄｕｃｅｒ个数的细粒度分区，同时在 Ｍａ ｅｒ运行过程中实时统计各细粒度分区的数据量；然后由ＪｏｂＴｒａｃｋｅｒ根 ｐｐ 据全局的分区分布信息筛选出部分未分配的细粒度分区，并用代价评估模型将选中的细粒度分区分配到各 Ｒｅｄｕｃｅｒ 上；依照此方法，经过多轮的筛选、分配，最终在执行犚犲犱狌犮犲（）函数前，将所有细粒度分区分配到 Ｒｅｄｕｃｅ端，以此解 决分区后各 接收数据总量均衡的问题 最后在 分布数据集和真实数据集上与现有的分区切分方法 Ｒｅｄｕｃｅｒ ． Ｚｉｆ ｐ Ｃｌｏｓｅｒ进行了对比，增量式分区策略更好地解决了数据划分后的均衡问题． 关键词 增量分配；细粒度分区；数据倾斜；均衡分区；ＭａＲｅｄｕｃｅ；大数据 　 ｐ 中图法分类号 号 ／ ＴＰ３１１ 犇犗犐 １０．１１８９７ＳＰ．Ｊ．１０１６．２０１６．０００１９ 　　　 犃狀犐狀犮狉犲犿犲狀狋犪犾犘犪狉狋犻狋犻狅狀犻狀