基于Hadoop分布式文件系统快照技术的研究与改进.pdfVIP

ISSN1009-3044 E-mail:xsjl@ ComputerKnowledgeandTechnology电脑知识与技术 第11卷第04期(2015年02月) ComputerKnowledgeandTechnology 电脑知识与技术 Vol.11,No.4,February2015 Tel:+86-55165690964 基于Hadoop分布式文件系统快照技术的研究与改进 杨 彬 （辽宁行政学院信息技术系，辽宁沈阳110161) 摘要：任何文件系统都具有拍摄快照的能力，快照使系统管理员在系统故障的情况下进行数据恢复。HDFS（HadoopDis⁃ tributedFileSystem）是一个流行的大型集群商用服务器的分布式文件系统，该文为HDFS提出了一个低开销的快照解决方 案。该解决方案，避免使用复杂的分布式快照算法，采用新的快照数据结构解决了在HDFS系统中的数据拷贝和分布问 题，设计了一个基于选择性的追加拷贝快照解决方案。 关键词：HDFS；快照；选择性的追加拷贝；低开销 中图分类号：TP311 文献标识码：A 文章编号：1009-3044(2015)04-0074-05 ResearchandImprovementofSnapshotTechnologyBasedonHadoopDistributedFileSystem YANGBin (DepartmentofInformationTechnology,LiaoningAcademyofGoverance,Shenyang 100161,Chiina) Abstract: Theabilitytotakesnapshotsisanessentialfunctionalityofanyfilesystem,assnapshotsenablesystemadministratorsto performdatarecoveryincaseoffailure.HDFS（HadoopDistributedFileSystem）isapopulardistributedfilesystemforlargeclus⁃ tersofcommodityservers.ThispaperpresentsalowoverheadsnapshotsolutionsforHDFS.Thesolutionobviatestheneedfor complexdistributedsnapshotalgorithms,takesnewsnapshotdatastructurestodatareplicationanddistributioninHDFS.wehave designed,afastandefficientsnapshotsolutionbasedonselective-copy-on-appends. Keywords:HadoopDistributedFileSystem;snapshot;selective-copy-on-appends;lowoverhead 支持关键大规模分布式数据密集型应用程序的文件系统需要具有零或最小的应用程序停机频率的自动系统备份功能。因此 拍摄快照的能力已成为文件系统的基本特征，开发这样的快照方案和机制在过去已经得到相当的重视。 [1-2] 即写即拷（copy-on-write）是快照系统的主流技术，其研究多集中在细化快照粒度、改进索引结构、提高数据块访问效率上 。 [3-4] 这种快照技术占用了多余的存储空间，极大地浪费了存储空间，在快照恢