基于Hadoop的小文件处理技术研究.pdfVIP

中国科技论文在线 基于 Hadoop 的小文件处理技术研究 俞俊生，盛旷* （北京邮电大学电子工程学院，北京 100876 ） 5 摘要：Hadoop 分布式文件系统(HDFS)被设计成适合运行在通用硬件上的分布式文件系统。 HDFS 是一个高度容错性的系统，适合部署在廉价的机器上。HDFS 能提供高吞吐量的数据 访问，非常适合大规模数据集上的应用。然而，HDFS 基于单一的服务器 NameNode 来处 理元数据信息管理, 当处理海量小文件时会造成 NameNode