一种改进的云存储系统容错机制.pdfVIP

第30卷第 12期 计 算 机 应 用 研 究 VoI．30No．12 2013年 l2月 Application ResearchofComputers Dec．2013 一 种改进的云存储系统容错机制术 聂瑞华 ，张科伦 ，梁 军 (华南师范大学a．网络中心；b．计算机学院，广州 510631) 摘 要：在云存储平台下，提 出了一种基于访问统计的 自适应容错机制 SFMAF，该机制通过近似最近最少使用 算法维护一张文件访问频率表来 自适应调整容错方式。SFMAF对于常读取的文件采用副本冗余机制；对于不 常读取的文件采用Reed—Solomon(RS)纠删码容错机制。实验结果表明，SFMAF相对于副本冗余机制，在 CPU和 内存使用率可接受范围内的增加上，减少了系统 内部数据的传输流量，即减少了系统存储空间。 关键词 ：云存储 ；纠删码 ；文件访 问频率表；自适应；容错机制 中图分类号 ：TP301．6 文献标志码 ：A 文章编号：1001—3695(2013)123724—05 doi：10．3969／j．issn．1001—3695．2013．12．053 Improvedfault·tolerancemechanism incloudstoragesystem NIE Ruihua一，ZHANG Ke—lun ，LIANG Jun (a．NetworkCenter，b．SchoolofComputer，SouthChinaNormalUniversity，Guangzhou510631，China) Abstract：Thispaperpresentedaself-adaptivefault—tolerancemechanismbasedaccessfrequency(SFMAF)incloudstorage platfern1．Thismechanism wasimplementedbymaintainingafileaccessfrequencytableusingapproximateleastrecentlyused algorithm．Ifthefilewasreadfrequently．itusedreplicaredundancymechanism．Ifthefilewasseldom read．itusedRSera— surecodemechanism．Experimentalresultsshow that，comparingtoreplicaredundancymechanism，SFMAF increasesCPU andmemoryutilizationwithintheacceptablerange，andreducesthedatatransmissionflowwithinthesystem ，thatreducesthe storagespacein system ． Keywords：cloudstorage；erasurecode；fileaccess~equencytable；self-adaptive；fault—tolerantmechanism 0 引言 1 Hadoop分布式文件系统简述 随着数据量的急剧增长，数据存储需求对存储系统的可靠 Hadoop项 目是Apache基金组织的一个项 目，其 目的是实 性 、吞吐性能提出了更高要求。分布式存储系统能够分散数据 现一个运行在大数量廉价的普通部件上的数据密集型的、可靠 服务器的压力 ，获得较高的吞吐量，提供高可靠性、高性能的存 的、可扩展的分布式计算框架。Hadoop是一个开源项 目，已经 储系统，它已经成为当前服务供应商常用的存储技术，其中云 成为一个非常流行的分布式数据密集型应用的快速解决方案