分布式系统中纠删码容错机制的研究与实现.pdfVIP

计 算 机 与 现 代 化 2012年第 8期 JISUANJIYUXIANDAIHUA 总第 204期 文章编号：1006-2475(2012)08-0047-04 分布式系统中纠删码容错机制的研究与实现 张科伦 (华南师范大学计算机学院，广东 广州 510631) 摘要 ：为降低分布式系统中容错机制的存储开销，在分布式文件系统中使用纠删码容错机制。本文总结纠删码容错机制 实现的几个理论基础，并分析其系统可靠性，在阐明实现该机制的具体步骤后对几个关键算法模块进行 了说 明，最后对 该机制在分布式系统环境下进行实验。实验结果表明，该机制能够有效地恢复受损数据。在合理的缓存块大小和文件 分块数策略下，该机制的编、译码率能够较好地 匹配局域网中的网络传输速率，且能够节省存储空间。 关键词 ：纠删码 ；容错机制 ；缓存块 ；文件分块 ；分布式存储系统 中图分类号：TP302 文献标识码 ：A doi：10．3969／j．issn．1006．2475．2012．08．013 ResearchandImplementationofErasureCodeFault-toleranceinDistributedFileSystem ZHANG Ke．1un (SchoolofComputer，SouthChinaNormalUniversity，Guangzhou510631，China) Abstract：Inordertoreducethestorageconsumptionforfauh—toleranceindistributedsystem．erasurecodefault—tolerancemech． anism iSusedindistributedfilesystem．Thispapersummarizesthetheoreticalbasisforerasurecodefauh—tolerancemechanism in distributedstoragesystem ，andanalyzesthesystem reliability，afterspecifiesthestepsofrimplementing，describesseveralkey algorithm mod ules．1ast，testesindistributedsystem environment．Theexperimentalresultsshow thatthismechanism canrestore damageddatacorrectly．Ifthesizeofbufferblockandnumberofdividedblocksarereasonbalysettheencoding，decodingrate canmatchtheLAN networktrnasmissionratewell：anditcanreducestorageconsumption． Keywords：erasurecode；fault—tolerancemechanism ；buff erblock；fileblock；distributedstoragesystem 0 引 言 1 纠删码容错机制的理论基础 云计算从提出至今 ，一直是学术界和企业界的研 1．1 纠删码理论 究热点。越来越多的厂商都加入到云计算服务的大 纠删码最早应用于通信领域 ，实现差错复原。近 军中，如 Google、IBM、Amazon… 以及微软等。据统 年来许多研究者都将纠删码作为分布式系统中的冗 计 ，上述云计算服务提供商的服务器数量已达几十万 余机制来提高服务的可靠性。纠删码的基本思想 甚至上百万台 J。在这样级别的服务器集群 中，一 是 ]