基于Hadoop 分布式文件系统快照技术研究与改进.docVIP

基于Hadoop 分布式文件系统快照技术研究与改进 　　摘要：任何文件系统都具有拍摄快照的能力，快照使系统管理员在系统故障的情况下进行数据恢复。HDFS（Hadoop Distributed File System）是一个流行的大型集群商用服务器的分布式文件系统，该文为HDFS提出了一个低开销的快照解决方案。该解决方案，避免使用复杂的分布式快照算法，采用新的快照数据结构解决了在HDFS系统中的数据拷贝和分布问题，设计了一个基于选择性的追加拷贝快照解决方案。 　　关键词：HDFS；快照；选择性的追加拷贝；低开销 　　中图分类号：TP311 文献标识码：A 文章编号：1009-3044（2015）04-0074-05 　　Abstract： The ability to take snapshots is an essential functionality of any file system， as snapshots enable system administrators to perform data recovery in case of failure. HDFS（Hadoop Distributed File System）is a popular distributed file system for large clusters of commodity servers. This paper presents a low overhead snapshot solutions for HDFS. The solution obviates the need for complex distributed snapshot algorithms ，takes new snapshot data structures to data replication and distribution in HDFS. we have designed， a fast and efficient snapshot solution based on selective-copy-on-appends. 　　Key words： Hadoop Distributed File System； snapshot； selective-copy-on-appends； low overhead 　　支持关键大规模分布式数据密集型应用程序的文件系统需要具有零或最小的应用程序停机频率的自动系统备份功能。因此拍摄快照的能力已成为文件系统的基本特征，开发这样的快照方案和机制在过去已经得到相当的重视。 　　即写即拷（copy-on-write）是快照系统的主流技术，其研究多集中在细化快照粒度、改进索引结构、提高数据块访问效率上[1-2]。这种快照技术占用了多余的存储空间，极大地浪费了存储空间，在快照恢复时不是很灵活[3-4]。这样的快照解决方案不能很好的匹配现有的分布式文件系统如GFS和HDFS[5]，这些文件系统中的几个重要方面不同于传统的文件系统。 　　首先，GFS和HDFS逻辑的分离出文件系统元数据和数据本身。主节点（在HDFS称为Namenode） 跟踪文件的元数据和每个文件被复制并划分为固定大小的、散布在群集节点上的数据块。在单个节点存储元数据大大简化了快照解决方案，追踪多个数据块和副本的状态需要除了快照树以外更高级的数据结构。 　　其次，这些文件系统的目标是读取应用程序和写入大量数据，如MapReduce和Bigtable。其结果是这些文件系统对于顺序访问磁盘进行了优化，并提供非常有限的接口：写入操作被限制为追加和修改。考虑到这些限制，使用标准即写即拷快照的解决方案会导致不必要的开销。这表明除非文件追加遵循修改操作，文件追加和修改不导致覆盖现有数据和不同快照的状态，可以用数据指针跟踪。这形成了选择性的追加拷贝（selective-copy-on-appends）快照方案的基础。 　　文中所描述的技术可以推广到现有的文件系统，此技术考虑了数据密集型分布式文件系统特定的体系结构，设计的方案使分布式文件系统降低了开销。 　　1 背景：HDFS设计 　　Hadoop分布式文件系统（HDFS）是一个能够对大量数据进行分布式处理的软件框架，具有较高的容错能力。HDFS采用主从结构，包括一个Namenode节点和多个Datanode节点。Namenode负责管理文件系统命名空间和访问权限。此外，Datanode负责管理数据块在节点上的存储和处理文件系统客户端的读写请求。一个文件通常被分为一个或多个数据块，这些块存储在一组Datanode 上[6-7]。Namenode管理文件系统命名空间以及有关文件和块关联的元数据。