原创力文档- 1、原创力文档（book118）网站文档一经付费（服务费），不意味着购买了该文档的版权，仅供个人/单位学习、研究之用，不得用于商业用途，未经授权，严禁复制、发行、汇编、翻译或者网络传播等，侵权必究。。
- 2、本站所有内容均由合作方或网友上传，本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺！文档内容仅供研究参考，付费前请自行鉴别。如您付费，意味着您自己接受本站规则且自行承担风险，本站不退款、不进行额外附加服务；查看《如何避免下载的几个坑》。如果您已付费下载过本站文档，您可以点击 这里二次下载。
- 3、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等，请点击“版权申诉”（推荐），也可以打举报电话：400-050-0827(电话支持时间：9:00-18:30)。
- 4、该文档为VIP文档，如果想要下载，成为VIP会员后，下载免费。
- 5、成为VIP后，下载本文档将扣除1次下载权益。下载后，不支持退款、换文档。如有疑问请联系我们。
- 6、成为VIP后，您将拥有八大权益，权益包括：VIP文档下载权益、阅读免打扰、文档格式转换、高级专利检索、专属身份标志、高级客服、多端互通、版权登记。
- 7、VIP文档为合作方或网友上传，每下载1次， 网站将根据用户上传文档的质量评分、类型等，对文档贡献者给予高额补贴、流量扶持。如果你也想贡献VIP文档。上传文档
查看更多
北京尚学堂提供
1、集群部署介绍
1.1 Hadoop简介
Hadoop 是 Apache 软件基金会旗下的一个开源分布式计算平台。以
Hadoop 分布式文件系统（ HDFS ，Hadoop Distributed Filesystem ）和
MapReduce （Google MapReduce 的开源实现）为 核心 的 Hadoop 为用户
提供了系统底层细节透明的分布式基础架构。
对于 Hadoop 的集群来讲，可以分成两大类角色： Master 和 Salve 。一个 HDFS 集
群是由一个 NameNode 和若干个 DataNode 组成的。其中 NameNode 作为主服务器，
管理文件系统的命名空间和客户端对文件系统的访问操作；集群中的 DataNode 管理存储
的数据。MapReduce 框架是由一个单独运行在主节点上的 JobTracker 和运行在每个集群
从节点的 TaskTracker 共同组成的。主节点负责调度构成一个作业的所有任务，这些任务
分布在不同的从节点上。 主节点监控它们的执行情况， 并且重新执行之前的失败任务； 从节
点仅负责由主节点指派的任务。 当一个 Job 被提交时， JobTracker 接收到提交作业和配置
信息之后，就会将配置信息等分发给从节点，同时调度任务并监控 TaskTracker 的执行。
从上面的介绍可以看出， HDFS 和 MapReduce 共同组成了 Hadoop 分布式系统体系
结构的核心。 HDFS 在集群上实现 分布式文件系统 ，MapReduce 在集群上实现了 分布式计
算和 任务处理 。HDFS 在 MapReduce 任务处理过程中提供了文件操作和存储等支持，
MapReduce 在 HDFS 的基础上实现了任务的分发、跟踪、执行等工作，并收集结果，二
者相互作用，完成了 Hadoop 分布式集群的主要任务。
1.2 环境说明
集群中包括 4 个节点： 1 个 Master ，3 个 Salve ，节点之间局域网连接， 可以相互 ping
通，具体集群信息可以查看 Hadoop 集群（第 2 期） 。节点 IP 地址分布如下：
机器名称 IP 地址
Master.Hadoop 192/html/cloud/ .168.1.2
Salve1.Hadoop
Salve2.Hadoop
Salve3.Hadoop
北京尚学堂 -cctv 央视网广告合作伙伴， 专业 IT 培训机构 , 口碑最好的 java 培训、,iOS 培训，android
培训，大数据培训， web 前端， 0 元入学，先就业后付款，平均就业薪水 9500 以上
四个节点上均是 CentOS6.0 系统，并且有一个相同的用户 hadoop 。Master 机器主
要配置 NameNode 和 JobTracker 的角色， 负责总管分布式数据和分解任务的执行； 3 个
Salve 机器配置 DataNode 和 TaskTracker 的角色，负责分布式数据存储以及任务的执行。
其实应该还应该有 1 个 Master 机器，用来作为 备用 ，以防止 Master 服务器 宕机 ，还有一
个备用马上启用。后续经验积累一定阶段后
文档评论（0）