hadoop命令大全指南.docVIP

Hadoop命令的研究 目录 TOC \o 1-3 \h \z \u 0 概述： 2 1 常规选项： 2 2 用户命令： 2 2.1 archive 2 2.2 distcp 3 2.3 fs 3 2.4 fsck 3 2.5 jar 3 2.6 job 3 2.7 pipes 4 2.8 version 5 2.9 CLASSNAME 5 3 管理命令 5 3.1 balancer 5 3.2 daemonlog 5 3.3 datanode 5 3.4 dfsadmin 6 3.5 jobtracker 7 3.6 namenode 7 3.7 secondarynamenode 7 3.8 tasktracker 7  0 概述： 所有的Hadoop命令均由bin/hadoop脚本引发。不指定参数运行hadoop脚本会打印所有命令的描述。 The general command line syntax is: hadoop [--config confdir][COMMAND][GENERIC_OPTIONS][COMMAND_OPTIONS] 命令选项描述： 命令选项 描述 --config confdir 覆盖缺省配置目录。缺省是${HADOOP_HOME}/conf GENERIC_OPTIONS 多个命令都支持的通用选项。 COMMAND 各种各样的命令被分为用户命令和管理命令两组。 Hadoop 有一个选项解析框架用于解析一般的选项和运行类。 1 常规选项： 下面的选项被dfsadmin，fs，fsck，和job支持。应用程序要实现Tool接口来支持常规选项。 GENERIC_OPTION Description -confconfiguration file 指定应用程序的配置文件 -D property=value 为指定property指定值value -fs local|namenode:port 指定namenode -jt local|jobtracker:port 指定job tracker，只适用于job -files 逗号分隔的文件列表 指定要拷贝到map reduce集群的文件的逗号分隔的列表，只是用与job -libjars 逗号分隔的jar列表 指定要包含到classpath中的jar文件的逗号分隔的列表。 只适用于 升级和回滚 命令选项 描述 -format 格式化namenode。它启动namenode，格式化namenode，之后关闭namenode。 -upgrade 分发新版本的hadoop后，namenode应以upgrade选项启动。 -rollback 将namenode回滚到前一版本。这个选项要在停止集群，分发老的hadoop版本后使用。 -finalize finalize会删除文件系统的前一状态。最近的升级会被持久化，rollback选项将再不可用，升级终结操作之后，它会停掉namenode。 -importCheckpoint 从检查点目录装载镜像并保存到当前检查点目录，检查点目录由fs.checkpoint.dir指定。 3.7 secondarynamenode 用法编号 命令样式 功能 17 hadoop secondarynamenode [-checkpoint [force]] | [-geteditsize] 运行HDFS的secondary namenode。 命令选项 描述 -checkpoint [force] 如果EditLog的大小 = fs.checkpoint.size，启动Secondary namenode的检查点过程。 如果使用了-force，将不考虑EditLog的大小。 -geteditsize 打印EditLog大小。 3.8 tasktracker 用法编号 命令样式 功能 18 hadoop tasktracker 运行MapReduce的task Tracker节点