hadoop2.0集群搭建详解.doc

hadoop2.2.0集群搭建 ????PS：apache提供的hadoop-2.2.0的安装包是在32位操作系统编译的， ???????? ??因为hadoop依赖一些C++的本地库，所以如果在64位的操作上安装 ???????????hadoop-2.2.0就需要重新在64操作系统上重新编译 1.准备工作:(参考伪分布式搭建) ????????1.1修改Linux主机名 ????????1.2修改IP ????? ? 1.3修改主机名和IP的映射关系 ????? ? 1.4关闭防火墙 ????? ? 1.5ssh免登陆 ????? ? 1.6.安装JDK，配置环境变量等 2.集群规划： ????????????PS： ???????????? 在hadoop2.0中通常由两个NameNode组成，一个处于active状态， ????????????????????另一个处于standby状态。Active NameNode对外提供服务， ????????????????????而Standby NameNode则不对外提供服务，仅同步active namenode ????????????????????的状态，以便能够在它失败时快速进行切换。 ???????????? hadoop2.0官方提供了两种HDFS HA的解决方案，一种是NFS， ????????????????????另一种是QJM。这里我们使用简单的QJM。在该方案中， ????????????????????主备NameNode之间通过一组JournalNode同步元数据信息， ????????????????????一条数据只要成功写入多数JournalNode即认为写入成功。 ????????????????????通常配置奇数个JournalNode ???????????? 这里还配置了一个zookeeper集群，用于ZKFC ????????????????????（DFSZKFailoverController）故障转移，当Active NameNode挂 ?????????????????????掉了，会自动切换Standby NameNode为standby状态 3.安装步骤： ???? 3.1.安装配置zooekeeper集群 ???????? 3.1.1解压 ???????? tar -zxvf zookeeper-3.4.5.tar.gz -C /cloud/ ???? 3.1.2修改配置 ???????? cd /cloud/zookeeper-3.4.5/conf/ ???????? cp zoo_sample.cfg zoo.cfg ???????? vim zoo.cfg ???????? 修改：dataDir=/cloud/zookeeper-3.4.5/tmp ???????? 在最后添加： ???????????? server.1=hadoop01:2888:3888 ???????????? server.2=hadoop02:2888:3888 ???????????? server.3=hadoop03:2888:3888 ???????? 保存退出 ???????? 然后创建一个tmp文件夹 ???????? ????mkdir /cloud/zookeeper-3.4.5/tmp ???????? 再创建一个空文件 ???????? ????touch /cloud/zookeeper-3.4.5/tmp/myid ???????? 最后向该文件写入ID ???????? ????echo 1 /cloud/zookeeper-3.4.5/tmp/myid ???? 3.1.3将配置好的zookeeper拷贝到其他节点(首先分别在hadoop02、 ????? ? ? ? hadoop03根目录下创建一个cloud目录：mkdir /cloud) ???????????? scp -r /cloud/zookeeper-3.4.5/ hadoop02:/cloud/ ???????????? scp -r /cloud/zookeeper-3.4.5/ hadoop03:/cloud/ ???? ???? 注意：修改hadoop02、hadoop03对应 ????? ? ? ? ? ?/cloud/zookeeper-3.4.5/tmp/myid内容 ???????? hadoop02： ???????? ????echo 2 /cloud/zookeeper-3.4.5/tmp/myid ???????? hadoop03： ???????? ????echo 3 /cloud/zookeeper