hadoop集群部署笔记.docxVIP

hadoop集群部署1) 安装jdk 下载jdk-6u21-linux-i586.bin然后修改/etc/profile：export JAVA_HOME=/usr/local/jdk export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH export PATH=$PATH:$JAVA_HOME/bin 保存，并执行source /etc/profile 2) 配置host Namenode的机器，需要配置集群中所有机器的ip修改/etc/hosts 90 master 91 slave-A 93 slave-B 其他的datanode的/etc/hosts 只需要配置namenode的机器ip和本机ip90 master 91 slave-A 修改hostname(可选)vi /proc/sys/kernel/hostname 3) 建立ssh无密码登录 首先进到root目录下 root@master:~# $ssh-keygen -t rsa 进入.ssh目录 root@master:~/.ssh# cp id_rsa.pub authorized_keys 其余的datanode的机器 新建.ssh目录 root@slave-A:~# mkdir .ssh 在name（master）上远程拷贝 root@master:~/.ssh# scp authorized_keys slave-A:/root/.ssh/ 测试ssh 4) 安装hadoop 下载Hadoop 解压到每台服务器的/data/soft 解压root@master:/data/soft# tar zxvf hadoop-0.21.0.tar.gz 建立软连root@master:/data/soft# ln -s hadoop-0.21.0 hadoop 然后修改/etc/profile export HADOOP_HOME=/data/soft/hadoop export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin 5) 配置hadoop 1.修改conf/hadoop-env.sh，添加jdk支持export JAVA_HOME=/usr/local/jdk 如果ssh端口不是默认的22，在conf/hadoop-env.sh里改下。如：export HADOOP_SSH_OPTS=-p 12342.修改conf/core-site.xml，增加下面内容 property name/name valuehdfs://master:54310/value //这个才是真正决定namenode /property property namehadoop.tmp.dir/name value/data/hdfs/tmp/value //临时文件，有问题的时候，可以删除 descriptionA base for other temporary directories./description /property 3.修改conf/hdfs-site.xml，增加下面内容 property name.dir/name value/data/hdfs/name/value //namenode持久存储名字空间，事务日志的本地路径 /property property namedfs.data.dir/name value/data/hdfs/data/value //datanode存放数据的路径 /property property namedfs.datanode.max.xcievers/name value4096/value /property property namedfs.replication/name value1/value //数据备份的个数，默认是3 /property 3.修改conf/mapred-site.xml，增加下面内容 property namemapred.job.tracker/name //jobTracker的主机 valuemaster:54311/value /property 4. .修改conf/masters，这个决定那个是secondarynamenode master5 .修改conf/slaves，这个是所有datanode的机器 slaves-Aslaves-B6) 将配置好的hadoop拷贝到所有的datanode root@master:/data/soft/hadoop/conf# scp -rp /data/soft/hadoop-0.21.0 91: