二零二三年 优质公开课HDFS体系结构.pptx

HDFS体系结构 HDFS简介HDFS设计目标HDFS架构HDFS优缺点分布式文件系统HDFS HDFS简介Hadoop Distributed File System廉价服务器高容错性高可靠性高扩展性高吞吐率 HDFS的设计目标错误检测、自动恢复大数据集合移动计算而非数据适合批量处理一次写入多次读取可移植性 HDFS架构 HDFS架构数据块（Block）文件切分成块块大小固定最小存储单元优势支持大规模文件存储简化系统设计适合数据备份HDFS文件 128M128M128M128M128M128MDataNode 1DataNode 2DataNode 3 HDFS架构名称节点（NameNode）管理命名空间维护元数据信息记录数据块所在的数据节点的位置处理客户端的读写请求 HDFS架构fsimage磁盘editsNewfsimage磁盘fsimageedits名称节点结构（1）加载 到内存（2）执行edits中的记录（3）生成最新的fsimage（4）生成一个空的edits磁盘fsimage（5）保存 到磁盘（6）更新操作生成edits记录磁盘fsimage（7）周期性合并 备用名称节点（Standby NameNode）名称节点的热备节点定期合并FsImage与EditLog到本地磁盘HDFS架构 HDFS架构数据节点（DataNode）存储数据执行读写操作