大数据集群安装与开发配置讲解.docx

HADOOP集群安装（虚拟机） 一、 集群配置软件 HADOOP生态圈中的软件很多，这里介绍的集群配置主要包括以下软件： 软件名称 软件版本 备注 hadoop 2.7.2 分布式文件处理平台 zookeeper 3.4.6 分布式协调服务 hbase 1.2.0 分布式半结构数据库 spark 1.6.0 大数据分析引擎 sqoop 1.99.6 Hdfs与关系型数据库互通 其他软件： 软件名称 软件版本 备注 VMware WorkStation 10.0.3 虚拟机服务 Red Hat 6.4 虚拟机服务用操作系统 ntp 4.2.8 服务器时间同步工具 JDK 4 JAVA虚拟机 二、 虚拟机安装 1、安装VMware虚拟机 安装集群需要准备的工作很多，首先我们要有Linux虚拟机环境，因为Hadoop只能跑在Linux环境下。而集群至少要有一个主机（Master）和两个服务机（Slave），所以我们要安装3个Linux虚拟机。 （1） 首先安装VMware WorkStation，我选择的是10.0.3版本，这个软件的安装没有什么特别之处，安装在一个相对大的盘符下就行，不要安装在主盘符。满足这两点就可以了。 （2） 然后就可以安装Linux虚拟机了，我们需要一个Linux的iso。Linux是免费的操作系统，我们可以从网上下载，这里介绍的是用RHEL_6.4 x86_64.iso，这是一个64位虚拟机，虚拟机的32或64位的制式很重要，这直接会影响后面安装软件的版本。在VMware软件主页中选择创建新虚拟机，安装方式选择典型，然后选择好合适的Linux影像文件，点击下一步，写入个性化虚拟机的全名，这个名字不是很重要，以后也可以改，然后给虚拟机配一个默认的用户。注意，这个用户的密码也是这个虚拟机root用户的密码，所以要牢记密码。然后选择好安装位置，最好选择一个比较大的盘符，切记安装在主盘符。磁盘大小就分配30G，推荐选择将虚拟机存储为单个文件，这样不会降低磁盘性能。再下一步可以选择自定义硬件，点击可以改变安装的内存，不过个人觉得2G内存够用了。之后就可以安装了。然后再重复两次，一共安装三个虚拟机，一个作为Master，两个作为Slaves，这是Hadoop集群的最低要求了。安装后如下图： （3） 安装好后，还需要安装VMware Tools，打开一个虚拟机，在菜单栏中选择虚拟机-VMware Tools，将Vmware Tools的.tar.gz文件解压到虚拟机下： 在界面中点击右键选择Open in Terminal（打开终端），找到解压目录，在目录下执行安装命令： #./vmware-tools-distrib/vmware-install.pl 安装过程中，所有提示选择yes即可，安装完成后，重启虚拟机即可实现将windows下的文件直接拖拽到虚拟机中。VMware Tools只需安装一次，不用在所有的虚拟机上安装。 三、 Linux的配置 1、 虚拟机固定IP和别名 虚拟机固定IP是第一个步骤，因为在后面的HADOOP安装中，需要配置好固定的机器，如果每次重启虚拟机IP都会发生变化，将是一件很麻烦的事情，所以首先要做的就是虚拟机的IP固定。在同一个机器上安装的三个虚拟机，网段肯定是一致的，我们首先启动三个虚拟机，使用root用户登录，然后键入如下命令： #ifconfig 回车之后应该有如下显示： eth0 Link encap:Ethernet HWaddr 00:0C:29:34:61:76 inet addr:2 Bcast:55 Mask: inet6 addr: fe80::20c:29ff:fe34:6176/64 Scope:Link UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1 RX packets:5764 errors:0 dropped:0 overruns:0 frame:0 TX packets:84 errors:0 dropped:0 overruns:0 carrier:0 collisions:0 txqueuelen:1000 RX bytes:400269 (390.8 KiB) TX bytes:5773 (5.6 KiB) Interrupt:19 Base address:0x2024 lo Link encap:Local Loopback inet addr: Mask: