安装Hadoop环境实战演练.doc

安装Hadoop环境实战演练 软件下载 在离线安装服务器前，需要在内网搭建一台HTTP服务器，以供安装相应的软件。软件需要提前下载到本地，这里不再赘述如何下载。 Linux安装包 CentOS下载地址：/centos/6/isos/x86_64/ 如果您有DVD安装包（CentOS-6.5-x86_64-bin-DVD1to2），无需下载。 Hadoop安装包 CDH: /cdh4/redhat/6/x86_64/cdh/ CM: /cm4/redhat/6/x86_64/cm/ Impala: /impala/redhat/6/x86_64/impala/ 官网地址: / 注：在下载RPM包是请将noarch目录下面的包一并下载。 Yum源配置 搭建HTTP服务器 默认安装的CentOS系统自带了Apache的HTTP服务，将其启动即可。 # service httpd start 在浏览器中输入：http://localhost 验证 Linux源 在安装Hadoop前，可能会需要除安装系统时带的组件外，还需要其它一些未安装的组件，这时就需要Linux安装包。再创建yum软件源前，请先删除或者备份系统自带的源。 # cd /etc/yum.repos.d/ # rm –rf *.repo 虚拟机镜像源 请将镜像加载到虚拟光驱中，在服务器的文件夹中建立软连接，连接到虚拟光驱。CentOS bin安装包包括两个ISO镜像，建议建立两个虚拟光驱，将两个镜像全部加载进来。 # cd /var/www/html # ln –s /media/CentOS_6.5_Final centos # ln –s /media/CentOS_6.5_Final_ centos2 创建系统软件源 # cd /etc/yum.repos.d/ 在此目录下面创建 centos.repo的源，内容如下： 硬盘源 直接将系统安装盘的内容拷贝到硬盘上，在http服务器目录的文件夹中建立软连接，连接到系统安装盘所在的文件夹上。 # cd /var/www/html # ln –s /tmp/CentOS_6.5_Final centos # ln –s /tmp/CentOS_6.5_Final_ centos2 创建系统软件源 # cd /etc/yum.repos.d/ 在此目录下面创建 centos.repo的源，内容如下： Hadoop源 Hadoop源有三部分CDH、CM、Impala，我们借助CM在所有节点上进行安装批量安装Hadoop，并在日后进行管理。 Cloudera Manager （CM） 是业内第一家使用图形化界面管理Hadoop集群的工具。使用CM可将部署时间从几天缩短到几小时， 它提供一个集群范围内的、实时的运行节点及服务视图，它能够用来改变跨集群内的配置。它还包括了报告和诊断工具来观察集群的性能和利用率。 将下载下来的CDH、CM、Impala等上传到HTTP服务器，暂定放在 tmp文件夹下面，并生成rpm包的系统校验文件repodata文件夹，同时在http目录下面创建软链接。如果没有安装ftp服务，请先安装ftp服务。 创建CM源，如果是用CM进行安装Hadoop，只需要创建CM源，安装CM，当用CM进行批量安装时，选择系统本地源时，CM会创建相应的数据源。 安装ftp服务（可选） # yum install vsftp 创建repo源校验，如果系统没有安装组件createrepo，请先安装。 # yum install createrepo # cd /tmp # createrepo CDH # createrepo CM # createrepo Impala 创建软链接 # cd /var/www/html # ln –s /tmp/CDH cdh4 # ln –s /tmp/CM manager # ln –s /tmp/Impala impala 创建系统源 # cd /etc/yum.repos.d # vi myrepo.repo Linux环境配置 创建用户 在所有的结点服务器上建立相同的用户名ai和密码asiainfo。添加此设置为了cm批量安装时输入相同的用户名和密码。 # useradd ai # passwd ai 网络配置 为每台机器配置固定IP，并设置开机自动连接。 安装完cm后尽量不要修改IP, cm在安装时会绑定IP, 修改IP会造成cm不能正确识别主机. 修改主机名(hostname) 用root用户打开network，修改为你想要的名字 # vi /etc/sysconfig/network