一种应用于大规模存储系统的数据分布算法.pdfVIP

第40卷第llA期 计算机科学 V01．40No．11A Science Nov2013 2013年11月 Computer 一种应用于大规模存储系统的数据分布算法 郑胜李通 (武汉工程大学电气信息学院 武汉430205) 摘要随着大数据时代的到来，PB级、EB级甚至ZB级数据集出现，存储系统的建设需要根据业务的发展，逐渐进 行扩展。不同性能存储设备的加入、旧设备的退出以及多设备同时失效等问题的出现对传统存储系统数据分布算法 提出严峻挑战。设计了一种新的hash映射算法，该算法引入节点权重和多副本，并考虑节点失效和节点过载情况，能 够适应存储系统扩容、节点失效、节点过载的动态环境。该算法能从概率上保证系统伸缩时，数据对象及其副本分布 在不同的节点上，以及在节点间保持概率上分布的均衡性和迁移数据量最优；针对系统运行过程中节点失效和节点过 载，该算法也进行了有效处理，提高了系统的可用性和性能。通过数学分析和实验验证了该分布算法自动适应存储系 统的伸缩变化，保证了数据分布均匀性和对节点失效和过载的有效处理。 关键词分布式文件系统，在线扩展，数据映射，数据迁移 中图法分类号TP301．6文献标识码A DataPlacement for AlgorithmLarge-scaleStorageSystem ZHENGLITong Sheng ofElectricalandEkctmmc Instituteof 430205，China) (College Engineering，WuhanTechnology，Wuhan AbstractWiththeeraof data PBandEBevenZB-leveldatasetmakes scalable．Tradition big coming，t storagesystem was with becauseof aldatadistrihution confrontedserious different devices algorithm challenge performancestorage new was addedandtheoldones devicesfailed hash quitted，evenmultiple simultaneously．Amappingalgorithmpro— which thenode and andalsoconsidersnodefailureandnodeoverload．The posed supports weightmulti-replica algo— rithmcan tO of nodesand dataevendistribution fordiffer— adaptdynamicallychangestorage promises probabilistically ent nodes．B