解决HDFS存储大量小文件策略.pdf

1:

HDFS

无法高效大量小文件,如何让它更好地处理小文件?

HDFS无法高效小文件的:

在

HDFS中,namenode将文件系统中的元数据在内存中,因此,HDFS所能

的文件数量会受到

namenode内存的限制。如果存放大量的小文件,将会导致元数据

过多,元数据的大小远远超过实际文件的大小,导致

namenode无法承受,最终。

Namenode上的元数据的是实际数据的一些基本操作信息,例如:操作时间大小等等

Datanode上的是实际的数据,例如文档中的内容。

小文件

文档评论(0)

1亿VIP精品文档

相关文档