《行业数据化运营》课件——1.1.3HDFS的NameNode.pptx

下载文档

0
0
约1.02千字
约 9页
2024-12-21 发布于福建
举报
版权申诉
保障服务

《行业数据化运营》课件——1.1.3HDFS的NameNode.pptx

此“教育”领域文档为创作者个人分享资料，不作为权威性指导和指引，仅供参考

1、本文档共9页，可阅读全部内容。
2、原创力文档（book118）网站文档一经付费（服务费），不意味着购买了该文档的版权，仅供个人/单位学习、研究之用，不得用于商业用途，未经授权，严禁复制、发行、汇编、翻译或者网络传播等，侵权必究。
3、本站所有内容均由合作方或网友上传，本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺！文档内容仅供研究参考，付费前请自行鉴别。如您付费，意味着您自己接受本站规则且自行承担风险，本站不退款、不进行额外附加服务；查看《如何避免下载的几个坑》。如果您已付费下载过本站文档，您可以点击这里二次下载。
4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等，请点击“版权申诉”（推荐），也可以打举报电话：400-050-0827(电话支持时间：9:00-18:30)。

江西应用技术职业学院大数据导论

NameNode大数据导论

目录01NameNode的职责02理解editlog和fsimage

管理维护HDFS（管理DataNode上文件Block的均衡，维持副本数量）接收客户端的请求：上传、下载、创建目录等维护了两个非常重要的文件:edits文件（操作日志文件）--记录操作日志（editlog）fsimage文件--HDFS的元信息NameNode的职责

从HDFS目录看如何理解editlog和fsimage?空目录/tmp/test为例mkdirabcrmdirabcmkdirabcrmdirabcmkdirabc最终目录下存在什么？只有：drwxr-xr-x-hadoopsupergroup02018-09-1117:48/abc理解为操作日志editlog理解为：元信息fsimage，即最终剩下什么。

总结：editlog：主要是在NameNode已经启动情况下对HDFS进行的各种更新操作进行记录，HDFS客户端执行所有的写操作都会被记录到editlog中。fsimage：包含HDFS中的所有目录和文件信息（二进制格式）对于目录来说，包含的信息主要有修改时间、访问控制权限等信息。对于文件来说，包含的信息有修改时间、访问时间、访问控制、块大小和组成一个文件块信息等；如何理解editlog和fsimage?

edits记录了HDFS的操作日志都是二进制HDFS提供一个工具：editsviewer日志查看器----XMLedits(editlog)查看editsDemo:hdfsdfs-mkdir/mydemohdfsoev-iedits_inprogress_0000000000000000106-o~/edits.xml

HDFS的元信息：存在fsimage文件就跟edits文件在一起记录：数据块的位置、冗余信息、文件属性等也是一个二进制HDFS提供一个imageviewer----文本或者xmlfsimageDemo：hdfsoiv-ifsimage_0000000000000000005-pXML-ofsimage.xmledits文件和fsimage文件，哪个文件体现了HDFS最新的状态？

江西应用技术职业学院