基于Ambari Hadoop2.0及Spark安装部署.docxVIP

基于Ambari Hadoop2.0及Spark安装部署1、Ambari简介Ambari是hadoop分布式集群配置管理工具，是由hortonworks主导的开源项目。Ambari项目目标是不断完善hadoop集群的配置、管理和监控，使得hadoop集群管理更加简单。Ambari包含一系列APIs集合和一个基于浏览器的管理界面。Ambari提供给Hadoop集群管理员以下功能：（1）配置集群Ambari提供简易的、向导式的Hadoop组件安装，并且没有机器节点数目限制。Ambari能够直接操作集群配置。（2）管理集群Ambari提供了对Hadoop组件服务启动、停止和重新配置的中央管理能力。（3）监控集群Ambari利用Ganglia进行数据收集，并提供了仪表盘用于监控集群状态；Ambari利用Nagios对集群状态进行预警，并在集群状态异常时通过邮件向管理员报告。2、基于Ambari的Hadoop2.0安装部署2.1安装前准备2.1.1机器配置软件环境操作系统：CentOS 6.3 64bitJDK: 1.7 64bit硬件环境CPU：24Core 2.00GHz/Core内存：96G硬盘空间：1.78 TB节点数：4台2.1.2主机名修改1、hostname 主机名[root@localhost ~]# sudo hostname master2、修改network文件[root@localhost ~]# sudo vi /etc/sysconfig/network将里面的hostname改成你自己想要设置的。然后重启终端，主机名已经修改完成。对于集群中的其他主机修改办法相同。下面为集群机器角色分工：IPhostname角色服务9master管理节点Ambari Server5datanode01计算节点Ambari Agent6datanode02计算节点Ambari Agent7datanode03计算节点Ambari Agent*注：本文档对应所有Hadoop组件安装配置都在root用户下进行。2.1.3主机名ip对应 [root@master ~]$ sudo vi /etc/hosts在/etc/hosts中添加集群机器的主机名和IP，对于集群中的其他主机修改办法相同。修改后如下图所示：*注：红色为修改部分2.1.4无密码通信在master、datanode01、datanode02、datanode03上执行：这个命令用于生成无密码密钥对，询问其保存路径时直接回车采用默认路径。生成的密钥对为id_rsa和id_rsa.pub，默认存储在/root/.ssh目录下。接着将datanode01、datanode02、datanode03上的id_rsa.pub都复制到master的/root/.ssh目录下：*注：datanode02、datanode03类似。接着在master上做如下配置，把master、datanode01、datanode02、datanode03的id_rsa.pub都追加到授权的key里：*注：datanode02、datanode03类似。最后将master的authorized_keys分发到datanode01、datanode02、datanode03的/root/.ssh目录下：*注：datanode02、datanode03类似。 这样就完成了集群各个节点的无密码通信，下面针对这一步做一些测试，如果出现上面的运行提示，说明master到datanode01的无密码通信成功。类似可以测试datanode01到master的无密码通信，以及master、datanode01、datanode02、datanode03之间的无密码通信。*注：在测试无密码通信的过程中，第一次可能会出现输入密码的情况，在无密码通信配置正确的情况下，以后不会再需要输入密码。2.1.5开启ntp服务在master、datanode01、datanode02、datanode03上执行：2.1.6关闭iptables在master、datanode01、datanode02、datanode03上执行：2.1.7关闭selinux在master、datanode01、datanode02、datanode03上执行：将SELINUX=disabled设置为disabled。然后执行：最后重启linux系统。2.1.8本地源搭建为了快速安装Hadoop2.0相关组件，采用了搭建本地源方式进行离线安装（No Internet Access）。1、源获取/HDPDocuments/Ambari-/bk_using_Ambari_book/content/ambari-repositories.htmlAmbar