HDFS异构存储策略与实践.pdfVIP

异构架构，其实就是专门用于将一个hdfs集群里，不同类别的数据到不同的介质

上去的，比如说那种不常使用的数据就是冷数据，完全可以采用普通的disk策略写到普通

磁盘上去

普通磁盘廉价便宜，量还大，冷数据很合适，就是读写性能较差罢了

然后如果是那种经常的热数据，最的热数据，可以跟之前说的那样采用内存的

策略，直接数据放在内存里，那么分布式计算的时候，性能会非常非常的高，可惜就是内存

量太少了，所以只能存少量数据

然后就是对于经常的一些数据，其实是可以放在SSD上的，也就是固态硬盘，性能比普

通磁盘要强十倍百倍，读写速度非常的快

笔记本电脑，128GSSD固态硬盘+1T普通磁盘

所以hdfs在hadoop2.6版本就是支持了异构的策略，也算是一个相对比较新的功

能了，只不过在国内各大公司里用的相对来说不是很多，因为主要是一般大数据团队都

经过高度分工

数据平台团队会负责管理集群，然后对于那些创建hdfs目录，运行hive/sparkSQL作业的数

据仓库/数据开发的团队来说，根本不关心hdfs的底层，更加很少很少会手动去设置自己的

数据对应hdfs文件的异构策略了

而且就我们的实践经验