Hadoop集群配置步骤.docxVIP

Hadoop 集群配置步骤一、规划拓扑 一台主服务器（masters ）：运行 NameNode，JobTracker；三台从服务器（slaves）：运行 DataNode，TaskTracker； 二、服务器环境准备 安装 JDK1.6.0 以上，配置 JAVA_HOME 环境变量； 安装配置 SSH，使得主服务器通过 SSH 无用户名，无密码也可以登录到从服务器，具体过程如下： 下载安装 SSH； 从服务器命令行执行 ssh-keygen -t rsa -p -f ~/.ssh/id_rsa cat ~/.ssh/id_rsa.pub~/.ssh/authorized_keys 修改/etc/hosts，给每个服务器指定别名并将这个配置复制到每台服务器 创建 hadoop 用户，确保每台服务器相同 三、安装配置 hadoop 用 hadoop 用户登录到主服务器并下载安装包 hadoop-1.0.4.tar.gz 在主服务器执行 tar xfvz hadoop-1.0.4.tar.gz 修改如下配置文件 /etc/profile 在该文件后添加 hadoop 安装路径，示例如下： HADOOP_HOME=/home/hadoop/hadoop-1.0.4 export PATH=$PATH:$HADOOP_HOME/bin 执行 source /etc/profile 使得环境变量生效 Hadoop-env.sh 配置 JAVA_HOME Core-site.xml configuration property name/name valuehdfs:////value descriptionCommon configure/description /property /configuration 使用服务器别名指定主服务器 URL。 Hdfs-site.xml configuration property namedfs.replication/name value3/value descriptionHDFS configure/description /property property name.dir/name value/home/hadoop/HDFS/Namenode/value descriptionHDFS configure/description /property property namedfs.data.dir/name value/home/hadoop/HDFS/Datanode/value descriptionHDFS configure/description /property /configuration 指定 namenode 和 datanode 对应的本地文件路径（可以是 hadoop 用户能够访问的任何本地目录） Mapred-site.xml configuration property namemapred.job.tracker/name value:8021/value descriptionMapReduce configure/description /property /configuration 指定 JobTracker（主服务器位置），使用服务器别名标识 Masters 用服务器别名标识出主服务器位置 Slaves 用服务器别名标识出从服务器位置 向从服务器发布 在主服务器执行 tar 命令将，配置好的 hadoop 完整打包； tar cfvz hadoop-1.0.4.tar.gz hadoop-1.0.4 scp hadoop-1.0.4.tar.gz hadoop@:/home/hadoop/. 逐个执行 2 将完整 hadoop 分发到从服务器 SSH 到每个从服务器，解压这个 hadoop 包 执行 start-dfs.sh 启动 DHFS 守候进程 在主服务器执行 start-mapred.sh 启动 MapReduce 守候程序或者执行 start-all.sh