面向大数据分布式存储的动态负载均衡算法.pdfVIP

第44卷第5期 计算机科学 V01．44No．5 2017 2017年5月 CON妊，UTERSCIENCE May 面向大数据分布式存储的动态负载均衡算法 张栗粽崔园罗光春陈爱国卢国明王晓雪 (电子科技大学计算机科学与工程学院 成都611731) 摘要随着大数据时代的到来，分布式存储技术应运而生。目前主流大数据技术Hadoop的HDFS分布式存储系 统的元数据存储架构土一直存在可扩展性差和写延迟高等问题，其在官方2．0版本中针对可扩展性的解决方案(玲 通过元数据多副本异构节点的动态适应性备份，使元数据在考虑节点性能及负载的情况下实现了动态分布，保证了元 数据服务器集群的性能；同时结合缓存策略及自动恢复机制，提高了元数据的读写性及可用性。该算法在试验验证中 达到了较为理想的效果。 关键词大数据，分布式存储，元数据管理，HDFs DOI 中图法分类号TP274文献标识码A 10．11896／j．issn．1002-137X．2017．05．032 LoadBalance for Distributed DyllNIlllic Big-data Algorithm Storage ZHANG CUIYuanLUO WANGXiao-xue Li-zong CHEN LU Guang-chunAi-guoGumming of Scienceand (Sch00I ofElectronicScienceand of 611731，China) Computer Engineering，University TechnologyChina，Chengdu Abstract ha— Distributedisthe for is storagemajorapproachhandlingthe“BigData”．Currendy，themajortechnology distributedfile hasbeen theissuesof andwrite official2．0 beset doop system(HDFS)，whichby scalability latency．In version，anewfeature‘HDFSFederation’addressesthislimitation for NameNodes／name byaddingsupportmultiple toHD飚However，itdoesnottaketheisomerismofNameNodeintoaccount，andstilllacksof load spaces