Hadoop的配置文件夹conf解析和NameNode问题解析.pdfVIP

蜗牛向前冲:/uu_master Hadoop 配置文件夹conf 说明及NameNode 问题解析 本文由蜗牛向前冲编辑整理，转载请注明 一、 环境说明： 虚拟机VMware 中安装Ubuntu12.04，Hadoop 版本0.20.2 ，Java 版本jdk1.7.0_21 /etc/hosts 中配置： localhost Hadoop 安装路径：/usr/lib/hadoop-0.20.2/ Java 安装路径：/usr/lib/jvm/jdk1.7.0_21/ 用户需按照自己的配置个性化更改，但大概框架如下文介绍。 二、 conf 文件夹解析： 1. masters/slavers：配置 masters 和slavers 的IP 地址 分别为localhost、localhost 2. hadoop-env.sh ：配置Hadoop 运行时的环境变量，eg.JAVA_HOME export JAVA_HOME=/usr/lib/jvm/jdk1.7.0_21; 3. core-site.xml ：配置Hadoop 的核心，可覆盖core-default.xml 中的对应项 property name/name valuehdfs:localhost:9000/value /property 4. hdfs-site.xml ：配置HDFS，可覆盖hdfs-default.xml 中的对应项 property name.dir/name value/usr/lib/hadoop-0.20.2/name/value /property property namedfs.data.dir/name value/usr/lib/hadoop-0.20.2/data1,/usr/lib/hadoop-0.20.2/data2/value /property property namedfs.replication/name value2/value /property 蜗牛向前冲:/uu_master 5. mapred-site.xml ：Map/Reduce 的配置文件，对应并覆盖mapred-default.xml 中的配置 项 property namemapred.job.tracker/name valuelocalhost:9001/value /property 三、 相关命令： su hadoop：切换用户 bin/hadoop namenode –format ：格式化 bin/hadoop namenode：开启namenode bin/start-all.sh ：开启所有服务 bin/stop-all.sh：停止所有服务 bin/hadoop dfsadmin -safemode leave ：离开safemode chmod –R a+wrx /usr/lib/hadoop-0.20.2/name ：更改name 文件夹及子目录(-R)的权限(+wrx)， 所有用户(a) 。 四、 NameNode 问题： 每次重启 Ubuntu12.04 后，Hadoop 就不能正常运行，这个问题很常见，网络上的问题和回 答也是种类繁多，算上个人遇到的一些问题，一并总结。 1. 需配置haoop.tmp.dir，即Hadoop 运行的数据保存在该值对应的文件夹中，重启后文件 夹中的数据被清除。可在conf/core-site.xml 中加入 property namehadoop.tmp.dir/name value/usr/lib/hadoop-0.20.2/tmp/value /property 2. 执行bin/hadoop namenode –format 后报错：Format aborted in …… 蜗牛向前冲:/uu_master 原因：在对namenode 格式化之前，要确保.dir 参数指定的目录不存在。 Hadoop 这样做的目的是防止错误地将已存在的集群格式化了