SQL-DFS_一种基于HDFS的海量小文件存储系统.pdfVIP

第42卷 第1期 北 京 工 业 大 学 学 报 Vol.42 No.1 2016年 1月 JOURNAL OF BEIJING UNIVERSITY OFTECHNOLOGY Jan. 2016 SQL-DFS:一种基于HDFS 的海量小文件存储系统 马志强,杨双涛,闫 瑞,张泽广 (内蒙古工业大学信息工程学院,呼和浩特 010080) 摘 要:针对Hadoop分布式文件系统(Hadoopdistributedfilesystem,HDFS)进行小文件存储时NameNode 内存占用 率高的问题,通过分析HDFS基础架构,提出了基于元数据存储集群的SQL-DFS文件系统. 通过在NameNode 中加 入小文件处理模块实现了小文件元数据由NameNode 内存到元数据存储集群的迁移,借助关系数据库集群实现了 小文件元数据的快速读写,并对小文件读取过程进行优化,减少了文件客户端对NameNode 的请求次数;通过将部 分DataNode文件块的校验工作交由元数据存储集群完成,进一步降低了NameNode节点的负载压力. 最终通过搭 建HDFS和SQL-DFS实验平台,对HDFS和SQL-DFS2种架构进行了小文件读写的对比测试,实验结果表明:SQL- DFS在文件平均耗时(file average cost,FAC)和内存占用率方面均明显优于原HDFS架构,具有更好的小文件存储 能力,可用于海量小文件的存储. 关键词:Hadoop分布式文件系统(HDFS);元数据存储集群;小文件;元数据;内存占用率 中图分类号:TP391 文献标志码:A 文章编号:0254-0037(2016)01-0134-08 doi:10.11936/ bjutxb2015060040 SQL-DFS:A Massive Small File Storage System Based on HDFS MA Zhiqiang,YANG Shuangtao,YAN Rui,ZHANGZeguang (School of Information Engineering,Inner Mongolia University of Technology,Hohhot010080,China) Abstract:In ordertosolvetheproblemofhighoccupancyrateof NameNodememorywhileusingHadoop distributed file system (HDFS) to store massive small files, this paper analyzed the HDFS storage structure and presented a SQL-DFSfile system based on metadata storage cluster. In SQL-DFS,in order to move small file metadata from NameNode memory to metadata storage cluster a small file processing module was added in NameNode. In order to improve the reading and writing speed of the metadata, relational database clusterwasused,andinordertoreducethetimeofrequestfor NameNodethereading processofthesmallfilewasoptimized. Tofurtherreducetheloadpressureof NameNode,thecheckingof file block from DataNode was completed by met