基于Redis单位最大效益自适应迁移策略研究.PDF

第28卷 第10期 计 算机 技 术 与发 展 Vol.28 No.10 2018年10月 COMPUTERTECHNOLOGY AND DEVELOPMENT Oct. 2018 基于Redis单位最大效益自适应迁移策略研究 1,2 1,2 韦 立 ,陈珊珊 (1.南京邮电大学计算机学院,江苏 南京 210003; 2.江苏省大数据安全与智能处理重点实验室,江苏 南京 210003) 摘 要:Key-Value存储以其高扩展性和强一致性在如今热门的大数据时代中扮演着重要角色。 而实现其扩展性重要的 关键技术在于数据迁移机制的完善,数据迁移机制同时直接影响集群节点的负载均衡。 Redis集群采用哈希算法将数据 均匀分布在集群节点上,然而随着节点的不断扩展,Redis集群手动分配槽的迁移机制日益不足。 针对上述问题,提出单 位最大效益自适应迁移策略。 一方面,负载自适应平衡策略通过实时判断集群负载情况解决Redis手动迁移的不足,有策 略的数据迁移使其静态存储均衡化,从而实现系统之间的自适应调控;另一方面,单位最大效益迁移方案每次优先选择单 位效益最大的节点进行迁移,直至迁移完成。 和Redis性能相比,自适应迁移策略的迁移时间大概缩短了6.2% ~14.1%, 吞吐量约提高了4.9% ~12.5%。 关键词:Redis;Key-Value;负载平衡;自适应迁移策略;单位最大迁移效益 中图分类号:TP39 文献标识码:A 文章编号:1673-629X(2018)10-0053-06 doi:10.3969/j.issn.1673-629X.2018.10.011 Research on an Adaptive Migration Strategy of Unit Maximum Benefit Based on Redis 1,2 1,2 WEI Li ,CHEN Shan-shan (1.School of Computer Science,Nanjing University of Postsand Telecommunications,Nanjing210003,China; 2.Jiangsu Key Laboratory of Big Data Security Intelligent Processing,Nanjing210003,China) Abstract:Nowadays,Key-Value storage hasplayedanimportantroleintheeraofbigdataforitshighextensionandstrongconsistency. Thekey technology toachieveextensibility istoimprovethe datamigration mechanism which alsohasaffectedloadbalancing of cluster node. Rediscluster utilizeshash algorithm to uniformly distribute data over cluster nodes. However,with the increasing of nodes,the mechanism ofmanuallyallocatingslotsinRedisclusterbecom