hadoop问题及解决方案.docxVIP

问题一：could only be replicated to 0 nodes, instead of 1在Hadoop的环境搭建过程中，常常会遇到类似这样的错误信息提示：“could only be replicated to 0 nodes, instead of 1”，产生这样的错误原因有多种，这里列举出以下四种常用的解决方法以供参考：确保master（namenode） 、slaves（datanode）的防火墙已经关闭确保DFS空间的使用情况Hadoop默认的hadoop.tmp.dir的路径为/tmp/hadoop-${},而有的linux系统的/tmp目录文件系统的类型往往是Hadoop不支持的。先后启动namenode、datanode(如果start-all.sh启动失败的话，就采用以下方式启动)$hadoop-daemon.sh start namenode$hadoop-daemon.sh start datanode$hadoop-daemon.sh start jobtracker$hadoop-daemon.sh start tasktracker问题二2010-10-18 01:18:45,050 ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: java.io.IOException: Incompatible namespaceIDs in /usr/local/hadoop/tmp/dfs/data: namenode namespaceID = 1501733340; datanode namespaceID = 1262603975 at org.apache.hadoop.hdfs.server.datanode.DataStorage.doTransition(DataStorage.java:233) at org.apache.hadoop.hdfs.server.datanode.DataStorage.recoverTransitionRead(DataStorage.java:148) at org.apache.hadoop.hdfs.server.datanode.DataNode.startDataNode(DataNode.java:298) at org.apache.hadoop.hdfs.server.datanode.DataNode.init(DataNode.java:216) at org.apache.hadoop.hdfs.server.datanode.DataNode.makeInstance(DataNode.java:1283) at org.apache.hadoop.hdfs.server.datanode.DataNode.instantiateDataNode(DataNode.java:1238) at org.apache.hadoop.hdfs.server.datanode.DataNode.createDataNode(DataNode.java:1246) at org.apache.hadoop.hdfs.server.datanode.DataNode.main(DataNode.java:1368)解决方案： 1、停止集群$./stop-all.sh2、删除在hdfs中配置的data目录下面的所有数据;$ rm -rf /usr/local/hadoop/filesystem/data/3、重新格式化namenode$ ./hadoop namenode -format4、重新启动hadoop集群$./start-all.sh问题三： WARNING : There are about 1 missing blocks. Please check the log or run fsck. 解决方案：$ bin/hadoop fsck / /home/zhaozheng/hdfs/README.txt: CORRUPT block blk_4085337189286784361/home/zhaozheng/hdfs/README.txt: MISSING 1 blocks of total size 1366 B.Status: CORRUPT?Total size:??? 1366 B?Total dirs:??? 0?Total files:??? 1?Total blocks (validated):??? 1 (avg. block size 1366 B) ******************************** CORRUPT FILE