大数据集群安装与开发配置.docx

HADOOP集群安装（虚拟机）集群配置软件HADOOP生态圈中的软件很多，这里介绍的集群配置主要包括以下软件：软件名称软件版本备注hadoop2.7.2分布式文件处理平台zookeeper3.4.6分布式协调服务hbase1.2.0分布式半结构数据库spark1.6.0大数据分析引擎sqoop1.99.6Hdfs与关系型数据库互通其他软件：软件名称软件版本备注VMware WorkStation10.0.3虚拟机服务Red Hat6.4虚拟机服务用操作系统ntp4.2.8服务器时间同步工具JDK4JAVA虚拟机虚拟机安装1、安装VMware虚拟机安装集群需要准备的工作很多，首先我们要有Linux虚拟机环境，因为Hadoop只能跑在Linux环境下。而集群至少要有一个主机（Master）和两个服务机（Slave），所以我们要安装3个Linux虚拟机。首先安装VMware WorkStation，我选择的是10.0.3版本，这个软件的安装没有什么特别之处，安装在一个相对大的盘符下就行，不要安装在主盘符。满足这两点就可以了。然后就可以安装Linux虚拟机了，我们需要一个Linux的iso。Linux是免费的操作系统，我们可以从网上下载，这里介绍的是用RHEL_6.4 x86_64.iso，这是一个64位虚拟机，虚拟机的32或64位的制式很重要，这直接会影响后面安装软件的版本。在VMware软件主页中选择创建新虚拟机，安装方式选择典型，然后选择好合适的Linux影像文件，点击下一步，写入个性化虚拟机的全名，这个名字不是很重要，以后也可以改，然后给虚拟机配一个默认的用户。注意，这个用户的密码也是这个虚拟机root用户的密码，所以要牢记密码。然后选择好安装位置，最好选择一个比较大的盘符，切记安装在主盘符。磁盘大小就分配30G，推荐选择将虚拟机存储为单个文件，这样不会降低磁盘性能。再下一步可以选择自定义硬件，点击可以改变安装的内存，不过个人觉得2G内存够用了。之后就可以安装了。然后再重复两次，一共安装三个虚拟机，一个作为Master，两个作为Slaves，这是Hadoop集群的最低要求了。安装后如下图：安装好后，还需要安装VMware Tools，打开一个虚拟机，在菜单栏中选择虚拟机-VMware Tools，将Vmware Tools的.tar.gz文件解压到虚拟机下：在界面中点击右键选择Open in Terminal（打开终端），找到解压目录，在目录下执行安装命令：#./vmware-tools-distrib/vmware-install.pl安装过程中，所有提示选择yes即可，安装完成后，重启虚拟机即可实现将windows下的文件直接拖拽到虚拟机中。VMware Tools只需安装一次，不用在所有的虚拟机上安装。Linux的配置虚拟机固定IP和别名虚拟机固定IP是第一个步骤，因为在后面的HADOOP安装中，需要配置好固定的机器，如果每次重启虚拟机IP都会发生变化，将是一件很麻烦的事情，所以首先要做的就是虚拟机的IP固定。在同一个机器上安装的三个虚拟机，网段肯定是一致的，我们首先启动三个虚拟机，使用root用户登录，然后键入如下命令：#ifconfig回车之后应该有如下显示：eth0 Link encap:Ethernet HWaddr 00:0C:29:34:61:76 inet addr:2 Bcast:55 Mask: inet6 addr: fe80::20c:29ff:fe34:6176/64 Scope:Link UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1 RX packets:5764 errors:0 dropped:0 overruns:0 frame:0 TX packets:84 errors:0 dropped:0 overruns:0 carrier:0 collisions:0 txqueuelen:1000 RX bytes:400269 (390.8 KiB) TX bytes:5773 (5.6 KiB) Interrupt:19 Base address:0x2024 lo Link encap:Local Loopback inet addr: Mask: inet6 addr: ::1/128 Scope:Host UP LOOPBACK RUNNING MTU:16436 Metric:1 RX packets:8 errors:0 dropped:0 overruns:0 frame:0 TX packets:8 errors:0 dropped:0 overruns:0 carrier