二零二三年 优质公开课HDFS内存管理.pptx

HDFS内存管理;1、掌握hdfs服务集群内存的管理机制;1、NameNode内存数据结构2、NetworkTopology3、继承结构4、BlocksMap5、BlocksMap内部数据结构6、优化方向; NameNode内存数据结构非常丰富，如LeaseManager/SnapShotManager/CacheManager等管理的数据。; NameNode通过NetworkTopology维护整个集群的树状拓扑结构，当集群启动过程中，通过机架感知（通常都是外部脚本计算）逐渐建立起整个集群的机架拓扑结构，一般在NameNode的生命周期内不会发生大变化。拓扑结构的叶子节点DatanodeDescriptor是标识DataNode的关键结构。;继承结构; HDFS将文件按照一定的大小切成多个Block，为了保证数据可靠性，每个Block对应多个副本，存储在不同DataNode上。NameNode除需要维护Block本身的信息外，还需要维护从Block到DataNode列表的对应关系，用于描述每一个Block副本实际存储的物理位置，BlockManager中BlocksMap结构即用于Block到DataNode列表的映射关系。;BlocksMap内部数据结构; 针对Namespace和BlocksMap的空间占用规模，有两个优化方向：