大数据存储中的容错关键技术综述.pdfVIP

第34卷 第4期 南 京 邮 电 大 学 学 报 ( 自 然 科 学 版 ) Vo1．34 No．4 2014年 8月 JournalofNanjingUniversityofPostsandTelecommunications(NaturalScience) Aug．2014 大数据存储 中的容错关键技术综述 宫 婧 ，王文君 (南京邮电大学 宽带无线通信与传感网技术教育部重点实验室，江苏 南京 210003) 摘 要：不断增长的海量数据需要被可靠存储 ，而分布式存储系统庞大的节点规模和数据规模，大大提升 了发生节 点失效的概率，容错技术成为大数据存储 中不可忽视的关键技术。文中介绍了数据容错的两种基本策略：复制和 纠删码，并分别总结了将这两种容错策略具体应用于大数据存储时所面对的问题和相关解决技术，如与基于复制 的容错技术相关的副本系数设置、副本放置策略、副本一致性策略、副本修复策略和纠删码领域的再生码技术等。 关键词 ：大数据存储；分布式存储；容错；复制；纠删码；再生码 中图分类号：TP302．8 文献标志码：A 文章编号：1673-5439(2014)04-0020-06 FaultToleranceTechnologyforBigDataStorage GONGJing，WANGWen-jun ／KeyLabofBroadbandWirelessCommunicationandSensorNetworkTechnology，MinistryofEducation，、 ＼NanjingUniversityofPostsandTelecommunications，Nanjing210003，China ， Abstract：Thegrowingmassivedataneedstobereliablystored，butthelargescaleofthenodesanddata ofdistributedstoragesystem greatlyenhancetheprobabilityofnodefailure．Thefaulttolerancetechnolo- gYhasbecomethekeytechnologywhichcannotbeignoredinbigdatastorage．Thispaperintroducestwo basicstrategiesofdatafaulttolerance：replicationanderasurecodes，andsummarizesrelatedtechnoloyg usingthesetwostrategiesforbigdatastorage．Technologiesincludethecoefficientsettingofduplicates， thereplicaplacementstrateyg ，thereplicaconsistencyandtherepairstrateyg relatedtoreplicationtech— noloyg ，andregenerativecodetechnoloyg relatedtoerasurecodes． Keywords：bigdatastorage；distributedstorage；faulttolerant；replication；erasurecode；regeneratingcode 0 引 言 代，第一代容错技术就进入了商用领域，美国Stratus (容错公司)在 Stratus独特的硬件级容错技术及 容错技术是指当计算机系统在运行时由于器件 VOS专有操作系统环境下，采用了MotorolaM68000 老化、错误输入、外部环境影响和原始设计错误等因 处理器 J。