《大数据离线分析技术》课件——项目4.3 HDFS存储原理.pptxVIP

异构存储大数据离线分析

教学目标1.了解异构存储背景

2.了解hdfs支持的存储类型

3.掌握存储策略

1.异构存储背景在我们实际的开发过程中，我们的某些数据可能经常使用，但是过了一段时间，这个数据就不怎么使用了，即我们的数据存在一个热、温、冷等这些特性。那么针对数据的热度，我们可以采用不同的策略，存储到不同的存储介质上。比如：针对经常访问的数据，我们可以存储在SSD上。针对访问频率不高的，我们可以存储在DISK，即普通的硬盘上。针对几乎不会访问的数据，保存在归档介质上。

2.hdfs支持的存储类型hdfs支持如下4中存储类型ARCHIVE：它具有高存储密度（PB级存储）但计算能力弱，一般用于归档文件的存储。DISK：普通磁盘，默认的存储类型SSD：SSD固态硬盘RAM_DISK：支持在内存中写入单个副本文件

2.hdfs支持的存储类型hdfs是不会自动检测我们指定的数据存储目录是何种存储类型的，需要我们在配置的时候告诉hdfs。指定目录的存储类型hdfs-site.xmlpropertynamedfs.datanode.data.dir/namevalue[SSD]file:///var/hadoop/dfs/data1,[DISK]file:///var/hadoop/dfs/data2/value/property：

3.存储策略在hdfs中支持如下