分布式文件系统hdfs处理小文件的优化方案 an optimization scheme of hadoop distributed file system for handling small files.pdfVIP

软件 2014 年第 35 卷 第 6 期 分布式文件系统HDFS处理小文件的优化方案 杨彬 （辽宁行政学院，辽宁沈阳　110161） 摘　要：Hadoop 分布式文件系统（HDFS）是为可靠地存储和管理海量文件而设计。在 HDFS 中，所有的文件由单一的服务 器 NameNode 来管理。因此，随着小文件数量的增加，会使 HDFS 系统性能下降。为了提高存储和访问 HDFS 上小文件的效率， 本文提出了一个解决方案，即：扩展的 Hadoop 分布式文件系统（EHDFS）。这种方法把一组相关文件组合成一个大文件来减少文 件的数量，然后建立一种索引机制，从这个组合文件中识别并访问客户所要的单个文件。实验结果表明 EHDFS 提高了存储和访问 大量小文件的效率。 关键词：Hadoop 分布式文件系统（HDFS），小文件，扩展的 HDFS（EHDFS） 中图分类号：TP311　　　　　　文献标识码：A　　　　　　DOI：10.3969/j.issn.1003-6970.2014.06.018 本文著录格式：[1] 杨彬 . 分布式文件系统 HDFS 处理小文件的优化方案 [J]. 软件，2014，35（6）：65-69 An Optimization Scheme of Hadoop Distributed File System for Handling Small Files Yang Bin (Liaoning Academy of Goverance, Shenyang 100161, Liaoning) Abstract Hadoop Distributed File System HDFS is designed for reliable storage and management of very large 【 】 （ ） files. All the files in HDFS are managed by a single server named NameNode. Consequently ，HDFS suffers a performance penalty with increased number of small files. In order to improve the efficiency of storing and accessing the small files in HDFS This paper presents a solution namely Extended Hadoop Distributed File System EHDFS . This approach ， ， （ ） combined a set of correlated files into a large file to reduce the file count. An indexing mechanism has been built to access the individual files from the corresponding combined file. From experimental results，EHDFS is able to improve the efficiency of storing and accessing large number of small files. Key words Hadoop distributed file system extended HDFS small files 【 】 ， ， 0　引言 现代计算机技术、网络技术和通信技术的飞速发展促使国民经济各领域的生产和管理系统全面信息化 [1] Hadoop