HDFS内存存储流程分析.pptx

HDFS内存存储流程分析;1、掌握hdfs内存的存储流程;1、Linux 虚拟内存盘2、HDFS文件内存存储设置3、LAZY_PERSIST内存存储策略原理4、LAZY_PERSIST相关结构; 在Linux中,可以用将内存模拟为一个块盘的技术,叫RAM disk.这是一种模拟的盘,实质数据都是存放在内存中的。 RAM disk虚拟内存盘可以在某些特定的内存式存储文件系统下结合使用,比如tmpfs,ramfs。通过此项技术,我们就可以将机器内存利用起来,作为一个独立的虚拟盘供DataNode使用了.; 要想让文件数据存储到内存中,一开始要做的操作就是设置此文件的存储策略,就是LAZY_PERSIST,而不是使用默认的StoragePolicy。DEFAULT,默认策略的存储介质是DISK类型的.;LAZY_PERSIST内存存储策略原理;原理图解释 第一步,对目标文件目录设置StoragePolicy为LAZY_PERSIST的内存存储策略. 第二步,客户端进程向NameNode发起创建/写文件的请求. 第三步,然后请求到具体的DataNode,DataNode会把这些数据块写入RAM内存中,同时启动异步线程服务将内存数据持久化到磁盘上.; 数据存储的同时会有另外一批数据会被异步的持久化,所以这里一定会涉及到多个服务对象的合作.