二零二三年 优质公开课HDFS特性.pptx

孟繁兴HDFS特性 目录0102HDFS概览HDFS特性 HDFS概览1 HDFS概览HDFS是位于底层服务器存储之上的分布式文件系统,其与基础存储系统有许多相似之处。分布式文件系统通过由网络连接的许多计算机来存储海量数据,并利用内置的冗余特性保障数据安全。HDFS是为快速、容错处理而设计的,因此它可以使用廉价的硬件来进行存储。服务器存储,比如Linux系统,遵守POSIX的要求,但其中的一些部分并不符合HDFS。基于这样的设计,HDFS能够对大数据实现流式访问。 HDFS特性2 HDFS特性HDFS具有一些特性,这些特性使其成为大规模分布式处理的理想选择。下面介绍HDFS如何支持大数据集的高效处理。处理大数据集通常非Hadoop的数据库系统是比较小的,处理的数据集往往只有数TB或只能处理少量的数据文件。Hadoop 可以处理PB级别的数据以及数千个数据文件。 Hadoop服务容错性Hadoop依赖于大量服务器,可以在这些服务器之间并行工作。集群中的服务器和存储故障是可以预料的,系统不会被非功能存储单元(甚至故障服务器)影响。默认情况下,数据在Hadoop中被复制三次,这意味着HDFS中的每个数据块都存储在三个不同的节点上。可以减少或增加默认的“复制因子”。还可以对不同的数据集使用不同的复制级别,例如文件级复制。 Hadoop服务数据流式访问传统数据库主要用于对数据进行快速访问,而

您可能关注的文档

文档评论(0)

1亿VIP精品文档

相关文档