hadoop集搭建.docxVIP

Hadoop2.7.0集群搭建 系统配置 电脑1(Lenovo E420)，win7 64位系统，8G内存，此电脑虚拟机上运行两个ubuntu14.10系统。 电脑2(Lenovo SL410)，win7 64位系统，4G内存，此电脑虚拟机上运行一个ubuntu14.10系统。 虚拟机：Vmware10.0 Hadoop2.7.0 Zookeeper3.4.6 集群规划 由于本人电脑配置太差，经过实际操作发现E420最多只能运行两台虚拟机ubuntu系统，所以就在另一台电脑SL410上搭建了另一个虚拟机ubuntu系统，其具体规划如下： 主机名 IP 安装软件 运行的进程 Ubuntu1 20 Jdk,hadoop zookeeper NameNode、DFSZKFailoverController、DataNode、NodeManager、JournalNode、QuorumPeerMain Ubuntu2 21 Jdk,hadoop zookeeper NameNode,DFSZKFailoverController,DataNode、NodeManager、JournalNode、QuorumPeerMain Ubuntu3 22 Jdk,hadoop zookeeper DataNode、NodeManager、JournalNode、QuorumPeerMain,ResourceManager 说明： 在hadoop2.0中通常由两个NameNode组成，一个处于active状态，另一个处于standby状态。Active NameNode对外提供服务，而Standby NameNode则不对外提供服务，仅同步activenamenode的状态，以便能够在它失败时快速进行切换。 hadoop2.0官方提供了两种HDFS HA的解决方案，一种是NFS，另一种是QJM。这里我们使用简单的QJM。 在该方案中，主备NameNode之间通过一组JournalNode同步元数据信息，一条 数据只要成功写入多数JournalNode即认为写入成功。通常配置奇数个JournalNode 这里还配置了一个zookeeper集群，用于ZKFC（DFSZKFailoverController）故障转移，当 Active NameNode挂掉了，会自动切换Standby NameNode为standby状态。 两台电脑之间的通信 按路径“控制面板/网络和Internet/网络和共享中心/无线网络连接/详细信息”进入网络连接详细信息界面查看Win7网络通信相关信息。 在“网络连接详细信息”中要注意以下几个属性：描述(此属性用于在虚拟机中桥接通信时选择桥接目标)，IPv4地址，IPv4默认网关，以下是我的具体配置 电脑 类型 描述 IPv4地址 IPv4默认网关 E420 1x1 11b/g/n wireless LAN PCI Express Half Mini Card Adapter 04 SL410 Intel(R) WIFI Link 1000 BGN 03 设置虚拟机网络信息 按路径“编辑(E)/虚拟网络编辑器(N)”进入网络编辑器将WMnet0的VMnet信息设置成桥接模式，“桥接到”选项为上文提到的描述信息，其实这个描述信息就是当前电脑的网卡名称，如下图所示： 按路径“虚拟机(M)/设置(S)”进入虚拟机设置界面，选择网络适配器为“桥接模式”，如下图所示： 在ubuntu命令行Vim /etc/network/interfaces设置ubuntu IP，如下所示： 注意：address 20(此IP必须和win7 IP在同一个网段) gateway (此网关必须和win7 的网关相同) 在ubuntu命令行vim /etc/hostname中设置ubuntu主机名，如下图所示： 在ubuntu命令行vim /etc/hosts 中设置ubuntu主机名和ip地址的对应关系，如下图所示： 验证各系统之间是否能够ping通。 安装配置zookeeper集群 解压zookeeper压缩包到/home/brian/hadoop tar –zxvf zookeeper-3.4.6.tar.gz –C /home/brian/hadoop mv /home/brian/hadoop/zookeeper-3.4.6 /home/brian/hadoop/zk 在/home/brian/hadoop/zk/conf修改zookeeper配置zoo.cfg，具体配置如下图所示： 在/home/brian/hadoop/zk中设置创建tmp目录 Mkdir /home/brian/hadoop/zk/tmp 在/home/br