HDFS的产生及设计前提
1、了解 HDFS 产生的背景及设计前提
01目录 HDFS 产生的背景02HDFS设计前提
HDFS 产生的背景HDFS :一种分布式文件系统,可提供对应用程序数据的高吞吐量访问,解决海量数据存储问题。
HDFS 产生的背景 随着互联网的发展,数据产生的数量越来越大,速度越来越快。传统的文件系统所依赖的服务器价格昂贵,提高其处理性能成本较高且已达到技术瓶颈,纵向扩展并不符合当今需求。
HDFS 产生的背景 HDFS 它的设计目标就是把超大的数据集存储到多台普通计算机上(横向扩展),并且可以提供高可靠性和高吞吐量的服务,支持通过添加节点的方式对集群进行扩容。所以 HDFS 有着它自己的设计前提。
HDFS设计前提2
HDFS设计前提对存储大文件支持很好,不适用于存储大量小文件。
HDFS设计前提通过流式访问数据,保证高吞吐量而不是低延时的用户响应。
HDFS设计前提简单一致性,使用场景应为一次写入多次读取,不支持多用户写入,不支持任意修改文件。
HDFS设计前提冗余备份机制,空间换可靠性(Hadoop3中引入纠删码机制,纠删码需通过计算恢复数据,实为通过时间换空间)
HDFS设计前提移动计算优于移动数据,为支持大数据处理主张移动计算优于移动数据,提供相关接口。Input HDFSOutput HDFS计算框架MR
1、HDFS
您可能关注的文档
- HDFS存储原理【市一等奖】.pptx
- 二零二三年 优质公开课HDFS存储扩容.pptx
- 二零二三年 优质公开课HDFS存储模型.pptx
- HDFS异构存储原理.pptx
- HDFS异构存储策略的不足之处.pptx
- HDFS异构存储类型.pptx
- HDFS支持的文件格式.pptx
- 二零二三年 优质公开课hdfs放置策略.pptx
- HDFS数据组织和数据块.pptx
- HDFS数据读写过程.pptx
- 全文可编辑培训课件-机构研究报告-德国数字音乐用户分析报告:deezer -外文培训课件.pptx
- 全文可编辑培训课件-机构研究报告-德国退休用户分析报告-外文培训课件.pptx
- 全文可编辑培训课件-机构研究报告-德国洗衣机用户分析报告:candy -外文培训课件.pptx
- 全文可编辑培训课件-机构研究报告-德国新闻日报用户分析报告:koelner stadt anzeiger-外文培训课件.pptx
- 全文可编辑培训课件-机构研究报告-德国新闻日报用户分析报告:westdeutsche allgemeine zeitung leserinnen -外文培训课件.pptx
- 全文可编辑培训课件-机构研究报告-德国移动运营商用户(联通)分析报告:alditalk -外文培训课件.pptx
- 全文可编辑培训课件-机构研究报告-德国移动运营商用户(联通,电信)分析报告:alditalk -外文培训课件.pptx
- 全文可编辑培训课件-机构研究报告-德国数字音乐用户分析报告:apple music itunes -外文培训课件.pptx
- 全文可编辑培训课件-机构研究报告-德国洗衣机用户分析报告:beko -外文培训课件.pptx
- 全文可编辑培训课件-机构研究报告-德国洗衣机用户分析报告:miele -外文培训课件.pptx
原创力文档

文档评论(0)