安装Hadoop完全分布式模式.docVIP

安装Hadoop完全分布式模式 出自XiWi 跳转到： 导航, 搜索 Hadoop完全分布式模式 目录 [隐藏] 1 实验环境 2 实验目的 3 安装 4 配置文件概述 5 配置 6 运行 7 测试 实验环境 1.系统 ： centos 5.6 2.JDK : jdk-6u26-linux-i586-rpm.bin 3.账号 ： hadoop 4.目录 ： /usr/local/hadoop 5.主机名 ：master slave1 slave2 实验目的 组建三台机器的群集 master： 部署namecode，JobTracker，DataNode，TaskTracker slave1： 部署JobTracker，DataNode，TaskTracker slave2： 部署JobTracker，DataNode，TaskTracker 其实这个不是最好的组建方法。实验为了更好的测试多节点而这样设置。 安装 请确保每台机器都安装了sun jdk 将hadoop安装在相同的目录（/usr/local/hadoop）。 请确保hadoop/conf/hadoop-env.sh 中JAVA_HOME=/usr/java/jdk1.6.0_26 设置并且正确。 每台机器创建hadoop账户。 #useradd hadoop #passwd hadoop 确保master能无密码登录。 $ssh-keygent -t dsa (我将密码设置为空方便测试。正常环境请安装keychain，keychain安装) $cd .ssh $cat cat id_rsa.pub authorized_keys $chmod 600 authorized_keys (将权限设置为600否者ssh将不读取公钥信息) 分发public key $ssh-copy-id slave1 $ssh-copy-id slave2 配置文件概述 NameNode ： core-site.xml JobTracker ： mapred-site.xml DataNode ： hdfs-site.xml master ： masters slave ： slaves 配置 编辑namenode的配置文件 $vi core-site.xml configuration property name/name valuehdfs://49:9000//value /property property namehadoop.tmp.dir/name value/usr/local/hadoop/hadooptmp/value /property /configuration 编辑JobTracker的配置 $vi mapred-site.xml configuration property namemapred.job.tracker/name value49:9001/value /property property namemapred.local.dir/name value/usr/local/hadoop/mapred/local/value /property property namemapred.system.dir/name value/tmp/hadoop/mapred/system/value /property /configuration 编辑DataNode配置 $vi hdfs-site.xml configuration property name.dir/name value/usr/local/hadoop/hdfs/name/value /property property namedfs.data.dir/name value/usr/local/hadoop/hdfs/data/value /property property namedfs.replication/name value3/value /property /configuration 修改slave1，slave2的配置 修改slave1，slave2的JobTracke