大规模云存储系副本布局研究.docVIP

大规模云存储系统副本布局研究 摘要:在基于副本冗余机制的大规模云存储系统中,以往的副本布局算法只能部分地满足副本布局中高可靠、高可扩展并且高效的要求,针对这一问题,提出了一种基于分组和一致性哈希的副本布局算法。首先,将关联性高的存储节点进行分组;然后,通过改进的一致性哈希算法将同一数据对象的多个副本分别分配到不同分组中;最后,再通过改进的一致性哈希算法将分配到各分组的数据副本放置在组内对应的存储节点上。理论分析可知,该方法大大提高数据的可靠性。仿真结果表明,该算法能满足副本布局的均衡性、自适应性要求,并能在几十微秒内完成副本定位。 关键词:云存储;副本布局;一致性哈希算法;分组;可靠性 replica placement study in large-scale cloud storage system 英文作者名dong ji-guang*, chen wei-wei, tian lang-jun, wu hai-jia 英文地址(institute of command automation, pla university of science and technology, nanjing jiangsu 210007, china) abstract: in the large-scale cloud storage system based on copy redundancy, previous layout algorithm can only partially meet the requirements of high reliability, high scalability and high efficiency in the replica layout. to solve this problem, this paper proposed a replica placement algorithm based on grouping and consistent hashing (rpgch). the storage nodes were classified into different groups by their correlativity, then the replicas of one object were assigned in different groups by consistent hashing algorithm, after that each replica was placed into corresponding storage node in the group by consistent hashing algorithm. the theoretical analysis proves that the reliability of data is improved. the simulation results show that rpgch can assign data evenly among storage nodes and adapt well with the changing scale of cloud storage system. moreover, rpgch is time efficient with little memory overhead. key words: cloud storage; replica layout; consistent hashing algorithm; grouping; reliability 0引言 jim gray[1]曾提出一个经验性定律:在网络环境下,每18个月产生的数据量等于有史以来数据量的总和。据idc调查统计,从2006年到2010年,全球产生的数据总量增长了6倍以上,从161eb增加到988eb(1eb=1018b),而且数据的增长速度还在持续增加[2]。由于基于大规模pc集群构建的高可伸缩云存储系统具有海量并行的数据存储和处理能力,因此它成为pb级海量数据存储问题的有效解决方案。在网络运营商的数据中心,数据规模可达pb级甚至eb级,因此数据对象的数量可达百亿级别,甚至更高。如何将数据对象高效地分布到云存储系统中,并能满足云存储系统的节点数量大、系统伸缩性强、数据可靠性要求高、节点存储能力差异大等方面的要求成为一个非常具有挑战性的课题。 一种被广泛采用的数据布局方式是通过集中式的存储目录来定位数据对象的存储位置。这种方法可以利用存储目录中存放的存储节点信息,将数据对象的多个副本放置在不同机架上,这样可大大提高系统的数据可靠性。谷歌文件系统(google file syst