大数据平台基础组件介绍.pptxVIP

大数据平台基础组件（HDFS、HBase、MapReduce、Yarn）介绍;目录; ;Hadoop 框架及应用堆栈;;;目录;7;HDFS(Hadoop Distributed File System)基于Google发布的GFS论文设计开发，适合运行在通用硬件上的分布式文件系统。其除具备其它分布式文件系统相同特性外，还有自己特有的特性： 高容错性：认为硬件总是不可靠的 高吞吐量：为大量数据访问应用提供高吞吐量支持 大文件存储：支持存储TB-PB级别的数据 ;HDFS是Hadoop技术框架中的分布式文件系统，对部署在多台独立物理机器上的文件进行管理。 主要应用于以下几种场景： 网站用户行为数据存储分析 生态系统数据存储分析 气象数据存储分析 ;系统设计目标;基本系统架构;HDFS数据读取流程;HDFS数据写入流程;HDFS数据写入流程;HDFS架构关键设计;HDFS联邦（Federation）;数据副本机制;元数据持久化健壮机制;HDFS高可靠性;配置HDFS数据存储策略-标签存储;;HDFS总结－分布式文件系统;目录;HBase 基本介绍 1.1 HBase 基本定义 1.2 HBase 应用场景 1.3 HBase 产品定位 1.4 数据结构介绍 HBase 功能与架构;1.1 HBase基本定义;与关系型数据库RMDB比较;HBase适合具有如下需求的应用：