自制hadoop安装详细过程.docxVIP

cdHadoop单机版、伪分布、集群安装教程推荐链接：/blog/page/2/?s=Hadoop一、下载安装所需文件1.vmware10中文版2.centos6.43.jdk1.8-Linux-32位4.Hadoop2.7.1（要求jdk版本为1.7及以上）5.spark2.2.1（要求hadoop版本为2.7）二、安装虚拟机1.安装vmware（具体细节可百度vmware安装）。2.新建虚拟机打开解压过的centos/centos.vmx3.克隆虚拟机选中虚拟机/右键/管理/克隆4.查看虚拟机版本查看centos版本命令：rpm -q centos-release查看系统是32位还是64位：getconf LONG_BIT三、hadoop伪分布安装（选centos虚拟机安装）1.root用户名登陆，密码hadoop 之后已将主机名修改为hadoop 密码 hadoopIP 532.设置IP、主机名、绑定主机名和关闭防火墙（1）设置静态IP桌面右上角连接右键编辑连接IPv4 method：从automatic（DCHCP）动态分配IP调整为Manual静态IP设置与主机在同一个网段可以用ipconfig和ping IP实现本机IP21vmware vmnet1 51vmnet852service network restart //重启网卡（2）修改主机名hostname//查看当前主机名hostname hadoop//对于当前界面修改主机名vi /etc/sysconfig/network 进入配置文件下修改主机名为hadoopreboot -h now //重启虚拟机//执行vi读写操作按a修改修改完之后Esc输入 :wq 回车保存退出3.hostname和主机绑定vi /etc/hosts//在前两行代码下添加第三行53 hadoop之后 ping hadoop验证即可4.关闭防火墙service iptables stop//关闭防火墙service iptables status//查看防火墙状态chkconfig iptables off//关闭防火墙自动运行chkconfig --list | grep iptables//验证是否全部关闭5.配置ssh免密码登陆（centos默认安装了SSH client、SSH server）rpm -qa |grep ssh//验证是否安装SSH，若已安装，界面如下接着输入ssh localhost 输入yes会弹出以下窗体内容即每次登陆都需要密码exit//退出ssh localhostcd ~/.ssh///若不存在该目录，执行一次ssh localhostssh-keygen -t rsa 之后多次回车cat ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys//加入授权chmod 600 ~/.ssh/authorized_keys//修改文件权限注：在 Linux 系统中，~ 代表的是用户的主文件夹，即 /home/用户名 这个目录，如你的用户名为 hadoop，则 ~ 就代表 /home/hadoop/。?操作完成之后输入ssh localhost验证出现Last login6.安装java环境（1）将本机已下载的jdk1.8上传到centos服务器下：方法一：下载Xshell5，点击新建文件传输之后按要求下载Xftp，下载安装之后根据主机IP及用户名和密码登录虚拟机IP 53 用户名root 密码hadoop然后将本机已下载好的jdk文件拖拽到虚拟机（可在虚拟机根目录中输入 / ）到根目录下的opt文件夹方法二：右键点击虚拟机，设置/选项/共享文件夹/总是启用之后新建文件夹share存放在本机中，此文件夹也可在虚拟机根目录中显示将jdk放入共享文件夹之后copy即可（2）解压jdk终端输入命令rpm -ivh jdk-8u151-linux-i586.rpm//解压jdk安装包解压之后默认存放在/usr/java/目录下输入cd /usr/java再输入ls即可看到解压好的jdk（3）配置环境变量vi /etc/profile//修改文件在最末尾加入以下内容，用于设置环境变量JAVA_HOME=/usr/java/jdk1.8.0_151JRE_HOME=/usr/java/jdk1.8.0_151/jrePATH=$PATH:$JAVA_HOME/binCLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/libexport JAVA_HOME JRE_HOME PATH CLASSPATH之后输入 source /etc/profile/