Hadoop部署布局与配置指南.pdfVIP

1简介

本文档描述了Hadoop的部署布局。随着复杂性的增加和Hadoop生态系统的

不断发展，部署布局可确保Hadoop子项目之间更好的集成。通过简化安装过

程，我们可以降低进槛并提高Hadoop的采用率。

2包

我们需要将Hadoop分成可以独立升级的包。包列表应包括：

•HadoopCommon‑常见，包括本机代码和所需的jar文件。

•HDFS客户端‑HDFSjar、和共享库。

•HDFS服务器‑jsvc可执行文件

•Yarn客户端‑Yarn客户端jar和

•YarnServer‑Yarn服务器jar和

•MapReduce‑MapReducejar、和共享库

•LZO‑来自.com/omally/hadoop‑gpl‑compression的LZ0编器

•指标‑Chukwa和Ganglia插件

其他团队的套餐将包括：

•猪

•蜂巢

•Oozie客户端

•Oozie服务器

•嚎叫客户端

•嚎叫服务器

这些软件包应该可以通过RedHat上的RPM进行部署。我们还需要一个依赖于

每个包的版本的包。一般来说，我们可以在新的部署布局中生成tarball。

请注意，某些面向用户的软件包（例如Pig）将在给定部署中安装2个版本。这

将通过修改包名称和关联的二进制文件以包含版本号来完成。

以下所有路径均基于作为安装根目录的前缀目录。我们的软件包必须支持在一台计

算机上同时安装多个Hadoop堆栈。对于RPM，这意味着软件包必须可重定位并

遵循‑‑前缀选项。

1Introduction

ThisdocumentdescribesthestandarddeploymentlayoutforHadoop.Withincreased

complexityandevolvingHadoopecosystem,havingstandarddeploymentlayoutensures

terintegrationweenHadoopsub-projects.Bymakingtheinstallationprocesseasier,

wecanlowerthebarriertoentryandincreaseHadoopadoption.

2Packages

WeneedtodivideHadoopupintopackagesthatcanbetlyupgraded.Thelistof

packagesshouldinclude:

•HadoopCommon-Commonincludingthenativecodeandrequiredjarfi.

•HDFSClient-HDFSjars,scripts,andsharedlibraries.

•HDFSServer-jsvcexecutable

•YarnClient-Yarnclientjarsandscripts

•YarnServer-Yarnserverjarsandscripts

•MapReduce-MapReducejars,scripts,andsharedlibraries

•LZO-LZ0codecfrom.com/omally/hadoop-gpl-compression

•Metrics-PluginsforChukwaandGanglia

Packagesfromotherteamswillinclud