Hadoop的配置文件夹conf解析及NameNode问题解析.pdf

蜗牛向前冲:/uu_master Hadoop 配置文件夹 conf 说明及 NameNode 问题解析 本文由蜗牛向前冲编辑整理，转载请注明 一、 环境说明： 虚拟机 VMware 中安装 Ubuntu12.04，Hadoop 版本 0.20.2，Java 版本 jdk1.7.0_21 /etc/hosts 中配置： localhost Hadoop 安装路径：/usr/lib/hadoop-0.20.2/ Java 安装路径：/usr/lib/jvm/jdk1.7.0_21/ 用户需按照自己的配置个性化更改，但大概框架如下文介绍。 二、 conf 文件夹解析： 1. masters/slavers：配置 masters 和 slavers 的 IP 地址 分别为 localhost、localhost 2. hadoop-env.sh ：配置 Hadoop 运行时的环境变量，eg.JAVA_HOME export JAVA_HOME=/usr/lib/jvm/jdk1.7.0_21; 3. core-site.xml ：配置 Hadoop 的核心，可覆盖 core-default.xml 中的对应项 property name/name valuehdfs:localhost:9000/value /property 4. hdfs-site.xml ：配置 HDFS，可覆盖 hdfs-default.xml 中的对应项 property name.dir/name value/usr/lib/hadoop-0.20.2/name/value /property property namedfs.data.dir/name value/usr/lib/hadoop-0.20.2/data1,/usr/lib/hadoop-0.20.2/data2/value /property property namedfs.replication/name value2/value /property 蜗牛向前冲:/uu_master 5. mapred-site.xml ：Map/Reduce 的配置文件，对应并覆盖 mapred-default.xml 中的配置 项 property namemapred.job.tracker/name valuelocalhost:9001/value /property 三、 相关命令： su hadoop：切换用户 bin/hadoop namenode –format：格式化 bin/hadoop namenode：开启 namenode bin/start-all.sh：开启所有服务 bin/stop-all.sh：停止所有服务 bin/hadoop dfsadmin -safemode leave：离开 safemode chmod –R a+wrx /usr/lib/hadoop-0.20.2/name：更改 name 文件夹及子目录(-R)的权限(+wrx)， 所有用户(a)。 四、 NameNode 问题： 每次重启 Ubuntu12.04 后，Hadoop 就不能正常运行，这个问题很常见，网络上的问题和回 答也是种类繁多，算上个人遇到的一些问题，一并总结。 1. 需配置 haoop.tmp.dir，即 Hadoop 运行的数据保存在该值对应的文件夹中，重启后文件 夹中的数据被清除。可在 conf/core-site.xml 中加入 property namehadoop.tmp.dir/name value/usr/lib/hadoop-0.20.2/tmp/value /property 2. 执行 bin/hadoop namenode –format 后报错：Format aborted in …… 蜗牛向前冲:/uu_master 原因：在对 namenode 格式化之前，要确保 .dir 参数指定的目录不存在。 Hadoop 这样做的目的是防止错误地将已存在的集群格式化了 (参考: /s/blog_48a45b9501011z7d.html) 解决：先删除 name 文件夹，然后再执行 bin/hadoop namenode –format 3. 执行 bin/hadoop namenode –format 中的 Y 与 y： 原因：在 1.x 版本中该选项的回答是“大小写敏感”的，所以用 Y 而不是 y 解决：用 Y； (参考: /q