大数据技术框架29课件讲解.pptxVIP

  • 2
  • 0
  • 约1.15千字
  • 约 11页
  • 2026-05-20 发布于陕西
  • 举报

大数据技术框架

大数据平台架构01大数据技术框架02Content目录

01

大数据平台架构

大数据平台架构图

02

大数据技术框架

大数据技术框架HDFS:分布式文件系统,由NameNode和一定数目的DataNodes组成集群。HDFS中数据通常有三个备份,用户只需上传1次数据,通过机架感知和水平复制自动备份数据。HDFS2.0默认存储文件大小为128M,适合存储大文件。Yarn:新的MapReduce框架。分布式主从架构,并行处理大数据。主要分为Mapper和Reducer两个阶段。Mapper主要对数据进行分类整理,Reducer实现数据的规约汇总。2.0版本中MapReduce存在

您可能关注的文档

文档评论(0)

1亿VIP精品文档

相关文档