Hadoop HDFS内存存储配置与实现原理.pdfVIP

首先需要配置linux的虚拟内存盘的配置，这个虚拟内存盘就是基于内存来文件数据的

意思，必须先配置这个，hdfs才能支持内存

sudomount-ttmpfs-osize=16gtmpfs/mnt/dn-tmpfs/

上面这行命令，就是把tmpfs文件系统挂载到/mnt/dn-tmpfs上去，大小是16g。默认tmpfs

文件系统是挂载到/dev/shm的，大小是32g，通过上面令，我们就可以挂载到自己指定

的目录里去

接着需要在hdfs配置中挂载好的虚拟内存盘

property

namedfs.datanode.data.dir/name

value/home/hadoop/tmp/data,[RAM_DISK]/mnt/dn-tmpfs/value

/property

最后，就是设置某个文件是要用内存策略的

hdfsstoragepolicies-setStorage-pathpath-LAZY_PERSIST

内存的大小是有限的，比如就16g，你如果要是不停的往内存里存放文件block的数据，肯

定是吃不消，一个block都128mb，1g内存也就放10个block，一台datanode上有16g内