二零二三年 优质公开课Hadoop基本组成HDFS.pptx

大数据计算平台《大数据导论》课程Introduction to big data Hadoop HDFS01 Hadoop基本组成（1） Hadoop基本组成1234对海量数据的处理。Hadoop MapReduce一个新的MapReduce框架，主要用于任务调度与资源管理。Yarn对海量数据的存储。Hadoop HDFSHadoop工具包，为其它Hadoop模块提供基础设施。Hadoop Common 1Hadoop HDFS 1.1 HDFS定义HDFS定义（1）Hadoop系统实现对大数据的自动并行处理，是一种数据并行处理方法，（2）这种方法实现自动并行处理时需要对数据进行划分，（3）而对数据的划分在Hadoop系统中从数据的存储就开始了。（4）因此文件系统是Hadoop系统的重要组成部分，也是Hadoop实现自动并行框架的基础。 1.2HDFS分布式原理分布式系统（1）分布式系统会划分成多个子系统或模块，各自运行在不同的机器上，子系统或模块之间通过网络通信进行协作，实现最终的整体功能。（2）利用多个节点共同协作完成一项或多项具体业务功能的系统就是分布式系统。（3）分布式文件系统是分布式系统的一个子集，其解决的问题就是数据存储。（4）它是横跨在多台计算机上的存储系统。存储在分布式文件系统上的数据自动分布在不同的节点上。 1.2HDFS分布式原理HDFS作为一个分布式文件系统，主要体现在以下三个方面：（1）（2）（3）HDFS 并不是一个单机文件系统，它是分布在多个集群节点上的文件系统。文件存储时被分布在多个节点上。数据从多个节点读取。 1.3 HDFS宕机处理在数据存储的过程中，对每个数据块都进行了副本备份，副本个数可以自行设置。冗余备份假设所有的备份都在一个节点上，那么该节点宕机后，数据一样会丢失，因此HDFS要有一个更有效的副本存放策略。副本存放①当一切运行正常时，DataNode 会周期性发送心跳信息给 NameNode。② HDFS也会检测到该数据块副本个数不符合要求而重新补全副本。③ 当HDFS存储数据时，如果要存放数据的节点宕机，HDFS会再分配一个节点给数据块，然后备份宕机节点的数据。宕机处理 总结summaryHadoop HDFS01 Hadoop基本组成（1） 谢谢观看数大义之方， 论万物之据 。受益终身!