原创力文档- 1、本文档共10页，可阅读全部内容。
- 2、原创力文档（book118）网站文档一经付费（服务费），不意味着购买了该文档的版权，仅供个人/单位学习、研究之用，不得用于商业用途，未经授权，严禁复制、发行、汇编、翻译或者网络传播等，侵权必究。
- 3、本站所有内容均由合作方或网友上传，本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺！文档内容仅供研究参考，付费前请自行鉴别。如您付费，意味着您自己接受本站规则且自行承担风险，本站不退款、不进行额外附加服务；查看《如何避免下载的几个坑》。如果您已付费下载过本站文档，您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等，请点击“版权申诉”（推荐），也可以打举报电话：400-050-0827(电话支持时间：9:00-18:30)。
查看更多
Hadoop集群环境中重要的角色
1. 知道Hadoop集群环境中都有哪些角色 2. 掌握这些角色的概念和作用.
导论 Spark任务基于Yarn资源调度框架进行调度时，首先需要的前提条件是需要搭建好Hadoop集群环境。
Hadoop集群环境中重要的角色-1NameNode NameNode管理HDFS文件系统的命名空间，它维护者文件系统及文件系统内所有的文件和目录，这些信息以两个文件形式永久保存在本地磁盘上：命名空间镜像文件和编辑日志文件。 NamdeNode也记录着每个文件中各个数据块所在的数据节点信息，但它并不永久保存数据块的位置信息，因为这些信息会在系统启动时根据数据节点信息重建。
Hadoop集群环境中重要的角色-2DataNode DataNode是HDFS文件系统的工作节点，它们根据需要存储并检索数据块（受NameNode调度），并且定时向Name Node发送它们存储的数据块的列表。
Hadoop集群环境中重要的角色-3ResourceManager 管理集群所有可用资源的中心节点，并能够帮助管理YARN上的分部署applications。他和每个节点上的 NodeManagers (NMs) 和 ApplicationMasters (AMs) 一起工作。
Hadoop集群环境中重要的角色-4NodeManager NodeManager是YARN中每个节点上的代理，它管理Hadoop集群中单个计算节点，包括与ResourceManger保持通信，监督Container的生命周期管理，监控每个Container的资源使用（内存、CPU等）情况，追踪节点健康状况，管理日志和不同应用程序用到的附属服务（auxiliary service）。
Hadoop集群环境中重要的角色-角色划分
Hadoop集群环境中重要的角色： 1. NameNode 2. DataNode 3. ResourceManager 4. NodeManager 以及这些角色在基于集群环境搭建中的角色划分
文档评论（0）