Hadoop大数据平台基础与架构概览.pptxVIP

Hadoop生态栈知识体系课程

大数据运维零基础入门到实践讲师：

课程总览1、Hadoop大数据平台基础与架构2、高可用企业大数据平台构建过程3、hadoop与spark、hbase的整合以及故障汇总4、hadoop大数据平台故障、调优有架构规划

第一课（上）Hadoop大数据平台基础与架构

一、hadoop生态圈知识1、hadoop生态概况

一、hadoop生态圈知识2、HDFS（Hadoop分布式文件系统） HDFS是Hadoop体系中数据存储管理的基石。它是一个高度容错的分布式文件系统，能检测和应对硬件故障，用于在低成本的通用硬件上运行。 它提供了一次写入多次读取的机制，数据以块的形式，同时分布在集群不同物理机器上。

一、hadoop生态圈知识3、Mapreduce（分布式计算框架）离线计算MapReduce是一种分布式计算模型，用以进行大数据量的计算。它屏蔽了分布式计算框架细节，将计算抽象成map和reduce两部分，其中Map对数据集上的独立元素进行指定的操作，生成中间结果。Reduce则对中间结果中相同“键”的所有“值”进行规约，以得到最终结果。4.HBASE（分布式列存数据库）Hbase是一个非关系型数据库（NoSQL），是按列来存储。HBase提供了对大规模数据的随机、实时读写访问，同时，Hbase使用HDFS来存储数据，因此它可以使用Map