HDFS的产生及设计前提“百校联赛”一等奖.pptx

HDFS的产生及设计前提“百校联赛”一等奖.pptx

HDFS的产生及设计前提 1、了解 HDFS 产生的背景及设计前提 01目录 HDFS 产生的背景02HDFS设计前提 HDFS 产生的背景HDFS :一种分布式文件系统,可提供对应用程序数据的高吞吐量访问,解决海量数据存储问题。 HDFS 产生的背景 随着互联网的发展,数据产生的数量越来越大,速度越来越快。传统的文件系统所依赖的服务器价格昂贵,提高其处理性能成本较高且已达到技术瓶颈,纵向扩展并不符合当今需求。 HDFS 产生的背景 HDFS 它的设计目标就是把超大的数据集存储到多台普通计算机上(横向扩展),并且可以提供高可靠性和高吞吐量的服务,支持通过添加节点的方式对集群进行扩容。所以 HDFS 有着它自己的设计前提。 HDFS设计前提2 HDFS设计前提对存储大文件支持很好,不适用于存储大量小文件。 HDFS设计前提通过流式访问数据,保证高吞吐量而不是低延时的用户响应。 HDFS设计前提简单一致性,使用场景应为一次写入多次读取,不支持多用户写入,不支持任意修改文件。 HDFS设计前提冗余备份机制,空间换可靠性(Hadoop3中引入纠删码机制,纠删码需通过计算恢复数据,实为通过时间换空间) HDFS设计前提移动计算优于移动数据,为支持大数据处理主张移动计算优于移动数据,提供相关接口。Input HDFSOutput HDFS计算框架MR 1、HDFS

您可能关注的文档

文档评论(0)

1亿VIP精品文档

相关文档