项目三 HDFS分布式文件系统1.pptxVIP

《Hadoop技术应用》

HDFS分布式文件系统项目三

任务导入在某公司网站有数百万用户信息，网站服务器上保留了用户的注册信息、登录信息、浏览信息等，服务器记录了用户的每一天信息，假设在2024年3月，共的100T的信息量，随着时候推移，还会不断增加信息量，而传统数据库（如MySql）已无法满足数据存储和处理的需求，Hadoop框架正是解决大数据存储和处理的有效方案。Hadoop有两大核心功能，即分布式存储与并行计算，本章能通过对HDFS组成、HDFS体系结构与功能、HDFS写数据和HDFS读数据等，让学生深刻理解并会运用HDFS系统

跟我学任务一HDFS简介任务二HDFS的JavaAPI操作

——·HDFS简介·——01任务

教学目标了解HDFS、熟悉HDFS组成、HDFS体系结构、HDFS核心功能，掌握块和节点概念，掌握HDFS写数据和HDFS读数据，掌握HDFS常用命令，掌握HDFS的常用操作知识目标引导学生加强数据隐私和数据安全的意识素质目标知道HDFS体系，能操作HDFS常用命令技能目标

一、HDFS定义Hadoop分布式文件系统(HadoopDistributedFileSystem，HDFS)用于存储文件，通过目录树来定义文件，其次，它是分布式的，由很多服务器联合起来实现其功能，集群中的服务器有各自的角色。采用高效的流式访问模式，明显的特点就是“一次写入，多次读取”

二、HDFS体系结构HDFS采用主从架构（Master/Slave架构）。HDFS集群是由一个NameNode和多个的DataNode组成。HDFS架构图其中NameNode作为主服务器，管理文件系统的命名空间和客户端对文件访问操作；集群中的DataNode管理存储数据

二、HDFS体系结构HDFS进程NN名称节点(主)DB数据节点(从)SNN第二名称节点(checkpoint)block(数据块)默认大小：128M.文件存储会分隔多个block块进行本地存储，集群模式下block会在其他DN上存储block复制副本。举例：一个300M文件上传,切3个block，最后一个block块44M。副本数--DN节点机器数(从)--基本配置为三个副本数。HDFS基本概念

二、HDFS体系结构HDFS架构图NameNode--文件系统命名空间（1）文件名称（2）文件目录结构（3）文件属性(permissions,create_time,replications)（4）文件对应数据块，数据块对应分布在哪些DN节点上列表。PS：接受DN发送blockReport数据存储在内存上。1.NameNode（NN）

二、HDFS体系结构HDFS架构图存储数据块+数据块的校验和（1）与NameNode通信:每隔3s发送一个心跳，是否存活;每隔10次心跳发送一次blockReport。（2）作用：读写文件的数据块。PS：DN存储在本地磁盘。1.NameNode（NN）

二、HDFS体系结构DataNode是HDFS集群中的从服务器，通常称为数据节点。客户端可以向DataNode请求写入或读取数据块，针对DataNode主要掌握两个概念，一个是Block，另一个是Replication。（1）Block：HDFS会按照固定的大小，顺序对文件进行划分并编号，划分好的每一个块称为Block（数据块），HDFS默认Block大小是128MB,Block块是HDFS读写数据的基本单位。若一个文件不足128M，那么该文件独占一个Block块，这时该块大小不为128M，而是这个文件的大小。（2）Replication：指副本，默认每个文件的副本为3份，在hdfs-site.xml配置方的中进行配置，且分别存储在不同的DataNode机器上。2.DataNodee

二、HDFS体系结构【案例1】假设上传了两个90M的文件，又上传一个300M的文件，那么会产生多少个Block块？在HDFS中又会显示几个文件呢？分析：会产生5个Block块，因为默认每个Block的大小为128M,因此300M的文件会被分为两个块，分别是2个128M和44M，在HDFS中会显示3个文件。

二、HDFS体系结构SecondaryNameNode--CheckNN（1）存储:命名空间镜像fsimage+编辑日志editlog。（2）作用:定期合并fsimage+editlog为新的fsimage推送给NN称为checkpoint。3.SecondaryNameNode

二、HDFS体系结构Client就是客户端，主要作用：（1）在文件上传到HDFS时，将文件切分成一个一个的