hadoop-ha-qjm+hbase部署手册.doc

该部署手册仅适用了hadoop-2.0.3alpha版本，不适用于之前的版本。应该适用于之后的 版本，待验证。 部署步骤如下： 首先，关闭iptables Service iptables stop 并在chkconfig 里面关闭掉 命名nameservices及namenode主机名的端口等，目前只支持2个namenode的HA，该 步骤的主要修改/hadoop-2.0.3-alpha/etc/hadoop /hdfs-site.xml文件，添加的内容如下 property nameservices/name valuemycluster/value /property property namenodes.mycluster/name valuenn1,nn2/value /property property namenode.rpc-address.mycluster.nn1/name valueactivenode:8020/value /property property namenode.rpc-address.mycluster.nn2/name valuestandbynode:8020/value /property property namenode.http-address.mycluster.nn1/name valueactivenode:50070/value /property property namenode.http-address.mycluster.nn2/name valuestandbynode:50070/value /property B、设置Quorum Journal Manager (QJM) to share edit logs between the Active and Standby NameNodes。在hdfs-site.xml文件中的设置如下： property namenode.shared.edits.dir/name valueqjournal://hadoopslave5:8485;hadoopslave6:8485; hadoopslave7:8485/mycluster/value /property property namedfs.journalnode.edits.dir/name value/home/hadoop_space/data/value /property 这里的node.shared.edits.dir指定namenode存储共享日志的一个journalnode群。这里的hadoopslave5\6\7是任意一台机器，并非是namenode。Dfs.journalnode.edits.dir是上面journalnode群中机器本地存储的日志文件的地址。这里的journalnode应该是奇数个。 C、添加客户端尝试activeNamenode的实现类，在hdfs-site.xml中添加如下文件： property namevider.mycluster/name value Onode. ha.ConfiguredFailoverProxyProvider /value description 指定客户端用于HA切换的代理类，不同的NS可以用不同的代理类 以上示例为Hadoop 2.0自带的缺省代理类 /description /property D、设置防止脑裂的ssh及其私钥文件，在hdfs-site.xml中添加如下文件，其中 dfs.ha.fencing.ssh.private-key-files文件是该主机设置ssh到其他机器时生成的私钥文 件，注意名称不要写错！有的是rsa的，示例中是dsa的，注意区分细节。 property namedfs.ha.fencing.methods/name valuesshfence/value /property property namedfs.ha.fencing.ssh.private-key-files/name value/root/.ssh/id_dsa/value /property property namedfs.ha.fencing.ssh.connect-timeo