孟繁兴HDFS特性
目录0102HDFS概览HDFS特性
HDFS概览1
HDFS概览HDFS是位于底层服务器存储之上的分布式文件系统,其与基础存储系统有许多相似之处。分布式文件系统通过由网络连接的许多计算机来存储海量数据,并利用内置的冗余特性保障数据安全。HDFS是为快速、容错处理而设计的,因此它可以使用廉价的硬件来进行存储。服务器存储,比如Linux系统,遵守POSIX的要求,但其中的一些部分并不符合HDFS。基于这样的设计,HDFS能够对大数据实现流式访问。
HDFS特性2
HDFS特性HDFS具有一些特性,这些特性使其成为大规模分布式处理的理想选择。下面介绍HDFS如何支持大数据集的高效处理。处理大数据集通常非Hadoop的数据库系统是比较小的,处理的数据集往往只有数TB或只能处理少量的数据文件。Hadoop 可以处理PB级别的数据以及数千个数据文件。
Hadoop服务容错性Hadoop依赖于大量服务器,可以在这些服务器之间并行工作。集群中的服务器和存储故障是可以预料的,系统不会被非功能存储单元(甚至故障服务器)影响。默认情况下,数据在Hadoop中被复制三次,这意味着HDFS中的每个数据块都存储在三个不同的节点上。可以减少或增加默认的“复制因子”。还可以对不同的数据集使用不同的复制级别,例如文件级复制。
Hadoop服务数据流式访问传统数据库主要用于对数据进行快速访问,而
您可能关注的文档
- HDFS存储原理【市一等奖】.pptx
- 二零二三年 优质公开课HDFS存储扩容.pptx
- 二零二三年 优质公开课HDFS存储模型.pptx
- HDFS异构存储原理.pptx
- HDFS异构存储策略的不足之处.pptx
- HDFS异构存储类型.pptx
- HDFS支持的文件格式.pptx
- 二零二三年 优质公开课hdfs放置策略.pptx
- HDFS数据组织和数据块.pptx
- HDFS数据读写过程.pptx
- 全文可编辑培训课件-机构研究报告-德国数字音乐用户分析报告:deezer -外文培训课件.pptx
- 全文可编辑培训课件-机构研究报告-德国退休用户分析报告-外文培训课件.pptx
- 全文可编辑培训课件-机构研究报告-德国洗衣机用户分析报告:candy -外文培训课件.pptx
- 全文可编辑培训课件-机构研究报告-德国新闻日报用户分析报告:koelner stadt anzeiger-外文培训课件.pptx
- 全文可编辑培训课件-机构研究报告-德国新闻日报用户分析报告:westdeutsche allgemeine zeitung leserinnen -外文培训课件.pptx
- 全文可编辑培训课件-机构研究报告-德国移动运营商用户(联通)分析报告:alditalk -外文培训课件.pptx
- 全文可编辑培训课件-机构研究报告-德国移动运营商用户(联通,电信)分析报告:alditalk -外文培训课件.pptx
- 全文可编辑培训课件-机构研究报告-德国数字音乐用户分析报告:apple music itunes -外文培训课件.pptx
- 全文可编辑培训课件-机构研究报告-德国洗衣机用户分析报告:beko -外文培训课件.pptx
- 全文可编辑培训课件-机构研究报告-德国洗衣机用户分析报告:miele -外文培训课件.pptx
原创力文档

文档评论(0)