基于HDFS的Fedora分布式存储实现研究-中国科学院文献情报中心.DOCVIP

基于HDFS的Fedora分布式存储实现研究 师洪波1,2, 吴振新2 （1.中国科学院国家科学图书馆,北京 100190 2.中国科学院研究生院,北京 100190） 摘要：随着信息社会发展，海量数字信息资源存储的需求变得越来越普遍，使用分布式文件存储是一种有效的解决方案。本文通过分析Fedora的底层存储架构以及HDFS本身信息存储交互特点，给出了Fedora的HDFS的分布式存储实现方案，为今后使用Fedora进行分布式存储及管理提供了借鉴参考。 Study of Distributed File Storage Solution of Fedora Based on HDFS Abstract：With the development of information society, mass information storage needs become more and more common, and distributed file system is an effective solution. Based on analysis of the low level storage architecture of Fedora and the features of HDFS information communication, this paper gives out an distributed file storage solution for Fedora base on HDFS, and has good reference significance for future use and study of Fedora. 关键词：长期保存 Fedora 分布式存储 HDFS Hadoop Key Words：Long term preservation; Fedora; distributed file system; HDFS;Hadoop 引言 随着信息社会的发展，海量信息存储及分析处理在今天变得越来越普遍。在数字资源保存领域，需要保存处理的数字信息也急剧增长，使用传统的保存方式，不论是存储容量上、还是存储效率存储安全上，都难以满足保存海量数据的要求。分布式存储是解决海量信息存储及处理的有效方式，Apache开源基金支持的顶级项目Hadoop[[] Hadoop[EB/OL]. [2011-10-11]. /.]项目提供了开源分布式存储解决方案HDFS（Hadoop Distributed File System）[[] HDFS[EB/OL]. [2011-10-11]. /hdfs/.]，提供了高效、安全的海量数据分布式存储平台。HDFS不仅提供了一个分布式存储环境，同时结合Hadoop的Map-Reduce[ [] Hadoop[EB/OL]. [2011-10-11]. /. [] HDFS[EB/OL]. [2011-10-11]. /hdfs/. [] MapReduce[EB/OL]. [2011-10-11]. /mapreduce/. [] Fedora[EB/OL]. [2011-10-11]. /. 分布式存储及HDFS架构特点 分布式文件系统 分布式文件系统是通过网络为用户提供远程文件服务的系统，它的设计目标之一是要使得用户感知不到其访问的是存储在远程服务器中的文件[[] George C, Jean D [] George C, Jean D, Tim K. Distributed systems: concepts and design(3rd Edition)[M]. Addison-Wesley Publishers Limited, 2000. 文献[ NOTEREF _Ref305744322 \h 5]提出了如图1所示的分布式文件系统的远程文件服务模型，主要由扁平文件(Flat File)服务、目录服务和客户端模块三部分组成。其中，扁平文件服务实现对服务器磁盘上保存的文件内容的操作，负责创建、删除文件以及读写文件的内容和属性，为每个文件创建惟一的文件标识符供后续操作时引用；目录服务实现的是文件的文本名字与其对应标识符之间的映射，负责目录的创建、删除以及目录中文件的增删和查找，生成的目录也是以文件方式保存并由扁平文件服务负责管理；客户端模块则是运行在客户端上，负责封装对扁平文件服务和目录服务的访问，提供了从客户端本地文件系统的文件操作接口到远程服务器的相关功能调用的映射。 图 SEQ 图 \* ARABIC 1分布式文件系统的远程文件服务模型[ NOTEREF _Ref305744322 \h \* MERGEFORMAT 5] HDFS的架构特点 架