HadoopHbasezookeeper集群配置步骤.docVIP

Hadoop、Hbase、Zookeeper集群配置步骤 规划拓扑 一台主服务器（masters）：运行NameNode，JobTracker，Hbase master，zookeeper； 三台从服务器（slaves）：运行DataNode，TaskTracker，Hbase regionserver； 在必要的时候这些复用的服务器可以拆分开来，zookeeper也可以用集群部署。 服务器环境准备 安装JDK1.6.0以上，配置JAVA_HOME环境变量； 创建hadoop用户，确保每台服务器相同 安装配置SSH，使得主服务器通过SSH无用户名，无密码也可以登录到从服务器，具体过程如下： 下载安装SSH； 用root修改 vi /etc/ssh/sshd_config，找到以下内容，并去掉注释符”#“ 　　RSAAuthentication yes 　　PubkeyAuthentication yes 　　AuthorizedKeysFile .ssh/authorized_keys 用root重启sshd /sbin/service sshd restart 用hadoop用户登录服务器行执行 ssh-keygen -t rsa -P -f ~/.ssh/id_rsa cat ~/.ssh/id_rsa.pub~/.ssh/authorized_keys 注意：在集群的每台服务器上执行以上命令生成rsa的公私钥对，把每台服务器的公钥文件id_rsa.pub的内容一起复制到authorized_keys，然后再将该文件复制到每台服务器的~/.ssh目录下 修改/etc/hosts，给每个服务器指定别名并将这个配置复制到每台服务器 安装配置hadoop 用hadoop用户登录到主服务器并下载安装包hadoop-1.0.4.tar.gz 在主服务器执行tar xfvz hadoop-1.0.4.tar.gz 修改如下配置文件 /etc/profile 在该文件后添加hadoop安装路径，示例如下： HADOOP_HOME=/home/hadoop/hadoop-1.0.4 export PATH=$PATH:$HADOOP_HOME/bin 执行source /etc/profile使得环境变量生效 Hadoop-env.sh 配置JAVA_HOME，如果linux设置了该系统变量则此处不需要单独设置。 Core-site.xml configuration property name/name valuehdfs:////value descriptionCommon configure/description /property /configuration 使用服务器别名指定主服务器URL。 Hdfs-site.xml configuration property namedfs.replication/name value3/value descriptionHDFS configure/description /property property name.dir/name value/home/hadoop/HDFS/Namenode/value descriptionHDFS configure/description /property property namedfs.data.dir/name value/home/hadoop/HDFS/Datanode/value descriptionHDFS configure/description /property /configuration 指定namenode和datanode对应的本地文件路径（可以是hadoop用户能够访问的任何本地目录） Mapred-site.xml configuration property namemapred.job.tracker/name value:8021/value descriptionMapReduce configure/description /property /configuration 指定JobTracker（主服务器位置），使用服务器别名标识 Masters 用服务器别名标识出主服务器位置 Slaves 用服务器别名标识出从服务器位置 向从服务器发布 在主服务器执行tar命令将，配置好的hadoop完整打包； tar cfvz hadoop-1.0.4.tar.gz hadoop-1.0.4 scp hadoop-1.0.4.tar.gz hadoop@:/home/hadoop/. 逐个执行2将