Hadoop命令大全.docVIP

Hadoop命令大全 property namehadoop.tmp.dir/name value/home/limingguang/hadoopdata/value /property 环境变量设置： 为了便于使用各种命令，可以在.bashrc文件中添加如下内容： export JAVA_HOME=/home/limingguang/jdk1.7.0_07 export HADOOP_HOME=/home/limingguang/hadoop-1.0.3 export HIVE_HOME=/home/limingguang/hive-0.9.0 export MAHOUT_HOME=/home/limingguang/mahout-distribution-0.7 export PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$HIVE_HOME/bin:$MAHOUT_HOME/bin:$PATH export HADOOP_HOME_WARN_SUPPRESS=1 具体目录请更改为安装目录，HADOOP_HOME_WARN_SUPPRESS变量为抑制HADOOP_HOME变量重复时的告警。 常用命令： 1、列出所有Hadoop Shell支持的命令$ bin/hadoop fs -help2、显示关于某个命令的详细信息$ bin/hadoop fs -help command-name3、用户可使用以下命令在指定路径下查看历史日志汇总$ bin/hadoop job -history output-dir这条命令会显示作业的细节信息，失败和终止的任务细节。4、关于作业的更多细节，比如成功的任务，以及对每个任务的所做的尝试次数等可以用下面的命令查看$ bin/hadoop job -history all output-dir5、 格式化一个新的分布式文件系统：$ bin/hadoop namenode -format6、在分配的NameNode上，运行下面的命令启动HDFS：$ bin/start-dfs.shbin/start-dfs.sh脚本会参照NameNode上${HADOOP_CONF_DIR}/slaves文件的内容，在所有列出的slave上启动DataNode守护进程。7、在分配的JobTracker上，运行下面的命令启动Map/Reduce：$ bin/start-mapred.shbin/start-mapred.sh脚本会参照JobTracker上${HADOOP_CONF_DIR}/slaves文件的内容，在所有列出的slave上启动TaskTracker守护进程。8、在分配的NameNode上，执行下面的命令停止HDFS：$ bin/stop-dfs.shbin/stop-dfs.sh脚本会参照NameNode上${HADOOP_CONF_DIR}/slaves文件的内容，在所有列出的slave上停止DataNode守护进程。9、在分配的JobTracker上，运行下面的命令停止Map/Reduce：$ bin/stop-mapred.shbin/stop-mapred.sh脚本会参照JobTracker上${HADOOP_CONF_DIR}/slaves文件的内容，在所有列出的slave上停止TaskTracker守护进程。DFSShell10、创建一个名为 /foodir 的目录$ bin/hadoop dfs -mkdir /foodir11、创建一个名为 /foodir 的目录 $ bin/hadoop dfs -mkdir /foodir12、查看名为 /foodir/myfile.txt 的文件内容 $ bin/hadoop dfs -cat /foodir/myfile.txtDFSAdmin13、将集群置于安全模式 $ bin/hadoop dfsadmin -safemode enter14、显示Datanode列表 $ bin/hadoop dfsadmin -report15、使Datanode节点 datanodename退役 $ bin/hadoop dfsadmin -decommission datanodename16、bin/hadoop dfsadmin -help 命令能列出所有当前支持的命令。比如：* -report：报告HDFS的基本统计信息。有些信息也可以在NameNode Web服务首页看到。* -safemode：虽然通常并不需要，但是管理员的确可以手动让NameNode进入或离