基于MapFile的HDFS小文件存储效率问题.pdfVIP

2012 年 第 2 1 卷 第 11 期 计 算 机 系 统 应 用 基于 MapFile 的HDFS 小文件存储效率问题① 洪旭升, 林世平 (福州大学 数学与计算机科学学院, 福州 350108) 摘 要: 针对 HDFS 最初是为流式访问大文件而开发的, 而对于大量小文件的存储效率不高问题, 采用 MapFile 设计一个 HDFS 中存储小文件的方案. 该方案的主要思想是在上传 HDFS 时增加一个文件类型判断模块, 建立一 个小文件队列, 将小文件序列化存入一个 MapFile 容器,合并成大文件, 并建立相应的索引文件, 有效降低文件数 目和提高访问效率. 通过和现有的 Hadoop Archives(HAR files)文件归档解决小文件问题的方案对比, 实验结果表 明, 基于MapFile 的存储小文件方案可以更为有效的提高小文件存储性能和减少HDFS 文件系统的节点内存消耗. 关键词: HDFS; 小文件; MapFile; SequenceFile; 云存储 Efficiency of Storaging Small Files in HDFS Based on MapFile HONG Xu-Sheng, LIN Shi-Ping (School of Mathematics and Computer Science, Fuzhou University, Fuzhou 350108, China) Abstract: The Hadoop distributes file system(HDFS) which can process large amounts of data effectively through large clusters. However, HDFS is designed to handle large files and suffers performance penalty while dealing with large number of small file. An approach based on MapFile is proposed to improve storage efficiency of small files in HDFS.The main idea is to add a file type judgment module while uploading a file, and create a small file queue, put the small file serialization in a MapFile container.and establishes the index file. Experimental results show that, the storage efficiency of small files is improved contrast to Hadoop Archives(HAR files). Key words: HDFS; small file; MapFile; sequence file; cloud storage 1 引言 元数据和客户端对文件的访问. 可以看出只有一个 [1] 云计算 是网格计算, 并行计算和分布式计算的 Namenode 的架构设计简化了文件系统的整体结构, 进一步发展, 是当前计算机研究与应用的热点问题. 但是也造成了小文件存储效率低的问题. 名称节点 云存储是云计算的底层服务, 对上层提供存储支持, (Namenode)存储着文件的元数据, 因此 Namenode