[Win10平台下搭建hadoop分布式系统-byfim.docVIP

Win10平台下搭建hadoop分布式系统 1、安装Oracle VM VirtualBox 2、在VirtualBox虚拟中添加3个虚拟主机，分别命令为Linux1，Linux2，Linux3 注：我们建的虚拟主机都是Ubuntu版本的Linux主机 3、在设置存储虚拟光驱中添加Ubuntu镜像 注：如果没有虚拟光驱，可以自己添加一个留空的虚拟光驱，如下图： 4、虚拟机网络设置 1)在新建虚拟电脑的时候,默认只设置了网卡1，如下图: 注：网络地址转换(NAT)的时候,如果主机插了网线,虚拟机可以正常上网.但是如果虚拟机中有多个虚拟电脑,则它们的ip都相同,格式为:10.0.x.x 如果要装hadoop集群的话,我们希望每个节点都有一个私有ip，以实现他们的互联 3)因此,我们可以给虚拟主机添加一个网卡2,此网卡连接方式为Host-Only，这种模式下，每个虚拟主机都会分配一个独立的ip，如下: 注:仅主机(Host-Only)适配器这种方式会给每个虚拟电脑分配一个独立ip,这个ip在主机的VirtualBox Host-Only Network的ip网段内. 我搭建的分布式集群式在win10平台下进行的，由于VirtualBox不兼容win10，在安装VirtualBox的时候不会在主机中创建Host-Only连接，换了几个版本的BirtualBox，有的能创建，但是Host-Only方式依然找不到界面名称。因为我们网卡2设置为Nat方式。如下介绍。 如何配置一个Nat网络。 在VirtualBox主界面管理全局设定网络Nat网络添加一个Nat网络 在虚拟主机设置网络网卡2中的连接方式选则Nat网络，界面名称选择刚才建立的Nat网络。 注：1/3台虚拟主机的网卡2的界面名称都必须选同一个Nat网络。 2/如果系统中本来存在Nat网络，可以不重建，每个虚拟主机选则同一个即可。 截图如下： 6）这样的网络设置,可以保证虚拟机既可以上网,又有私有ip. 5、启动虚拟主机，安装Ubuntu操作系统 注：每台主机的姓名要相同，计算机名必须不同。我们这里计算机名取f1,f2,f3 6、耐心等待Ubuntu操作系统安装完成！！！ 7、虚拟主机和主机之间实现双向拖放和共享粘贴板以及文件夹。（非必需步骤） 1）导致这些问题的原因是Linux中没有安装增强功能 2）安装增强功能，点击-设备安装增强功能 3）如果点击安装增强功能提示没有虚拟光驱,则在VirtualBox中添加一个留空的虚拟光驱即可.如下图: 8、在每个Ubuntu系统中安装jdk 1)官网下载后是一个jdk-8u51-linux-x64.tar.gz的压缩包 2)sudo tar -zxvf jdk-8u51-linux-x64.tar.gz解压得到jdk1.8.0_51文件夹 3)执行命令sudo gedit /etc/profile，打开etc下的profile文件，在文件最后添加环境变量。 export JAVA_HOME=/usr/java/jdk1.8.0_51 export PATH=$JAVA_HOME/bin:$PATH export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar 4)在终端输入命令source profile重新加载环境变量,输入java命令测试安装结果，如果不行请重启电脑再试。 9、配置hosts文件 1)在每台虚拟主机的终端输入ifconfig命令查看本机ip 2)由于我是在win10平台，用的是Nat网络，所以每台主机分配的ip为： ；；. 执行sudo gedit /etc/hosts命令打开hosts文件，在host文件中添加每台主机名以及它们的ip，如下图红框： 注：3台虚拟主机都得配置hosts文件。 10、建立用户组、新用户（前面按照要求安装Ubuntu的，这步可省略） 1)如果前面在安装Ubuntu的时候，3台虚拟主机的用户名都相同并且主机名都不相同，那么此步骤可以省略，我们可以直接使用当前的用户和主机。 2)建立用户组 sudo groupadd hadoop 3)创建用户 sudo useradd -s /bin/bash -d /home/fim -m fim -g hadoop -G admin -s:指定用户的登陆shell -d:指定用户主目录 -m:如果指定的主目录不存在，则创建主目录 -g:指定用户所属的用户组，用“，”分隔多个附加组 -G:指定用户所属的附加组 4)如果系统报admin组不存在，那么我们需要给hadoop用户组分配权限，否则，该组用户不能执行sudo操作。如：给hadoop用户