Hadoop安装及基于Eclipse的开发环境部署(限IT组内部使用)20150427讲述.docxVIP

Hadoop安装及基于Eclipse的开发环境部署 1、Hadoop-1.2.1安装 1.1 Hadoop安装工具 操作系统：Win7系统 虚拟机软件：VMware Workstation 10 Linux系统安装包：ubuntukylin-14.04-desktop-i386.iso（32位） JDK包：jdk-8u45-linux-i586.gz Hadoop-1.2.1程序安装包（非源码）： HYPERLINK /apache/hadoop/common/hadoop-1.2.1/hadoop-1.2.1.tar.gz /apache/hadoop/common/hadoop-1.2.1/hadoop-1.2.1.tar.gz 1.2 Hadoop安装步骤（部分详细内容可参见《Hadoop安装指南》） Ubuntu虚拟机安装（建议安装32位Ubuntu操作系统） Windows与linux之间的共享文件夹设置，实现windows与linux之间的文件共享；具体设置如下图： 设置完成后，可以看到一个共享文件夹，通过该文件夹可以实现windows与linux之间的文件共享；该共享文件夹默认在linux系统的/mnt/hgfs目录下。 ssh安装（ubuntu默认没有安装ssh，需要通过apt-get install 进行安装，这里建议暂时不要生成公钥） 网络连接配置； 网络连接配置的主要目的是保证能够使用Xshell等工具链接虚拟机进行操作。由于采用NAT模式没有连接成功，本文建议使用自定义的虚拟网络进行连接，具体步骤及设置如下： 1）本地虚拟网络IP设置；具体设置如图（可以根据自己的情况设置IP（如），该IP将作为虚拟机的网关）： 2）虚拟机网络适配器设置；建议采用自定义虚拟网络连接，设置如下： 3）虚拟机网络IP设置；主要目的是设置自定义的IP、网关等；具体设置流程如下： 4）当网络连接设置完成后，使用Ubuntu：service networking restart（centOS：service network restart）命令重启虚拟机网络服务；注意，重启网络服务后，建议在本机的DOS环境下ping一下刚刚在虚拟机中设置的IP地址，如果ping不通，可能是网卡启动失败，可以使用ifconfig eth0 up命令启动网卡（eh0是网卡名称，可以在网路连接设置中查看网卡名称）。 通过Xshell连接虚拟机进行终端操作；Xshell?是一个强大的安全终端模拟软件，它支持SSH1, SSH2, 以及Microsoft Windows 平台的TELNET 协议。使用Xshell的好处是它相比通过虚拟机界面终端进行操作而言，要流畅得多。使用Xshell的前提是必须先安装sshd，可以使用apt-get install openssh*对sshd进行安装。具体连接设置如下图所示： 修改etc目录下的hosts、hostname配置；hosts用来配置虚拟机的IP（上述网络连接设置的IP地址）与虚拟机名称的对应关系，hostname则用来配置虚拟机的名称，默认为localhost。具体设置如下： etc/hosts文件： 30 Master //IP地址与主机名称对应 31 Slave1 32 Slave2 etc/hostname文件：（每个slave节点设置成对应的主机名称） Master Host设置完成后，不要忘了重启虚拟机！！！ 安装javaSDK（JDK1.8） 首先下载jdk安装包，可以在官网/technetwork/java/javase/downloads/jdk8-downloads-2133151.html下载，然后通过共享文件夹共享到linux系统中，本机安装在/opt目录下； 修改/etc/profile的环境变量配置信息； JAVA环境变量设置： export JAVA_HOME=/opt/jdk1.8.0_45 //java安装目录 export JRE_HOME=$JAVA_HOME/jre export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH Hadoop安装配置；主要是hadoop的环境变量设置以及配置文件设置。 首先在本地windows环境下通过官网下载hadoop-1.2.1，下载地址/apache/hadoop/common/ 通过/mnt/hdfs共享文件夹将下载的hadoop安装包cp到/opt目录（可以根据自己的喜好设置安装目录），操作命令：cp hadoop-1.2.1.tar.gz /opt； cd到/opt目录，执行tar -zxvf hadoop-1.2.1.tar.gz解压安装包； hadoop环境变量设置；通过修改etc/