Hadoop命令手册使用指南.pdfVIP

Hadoop命令手册使用指南 2010-06-03 17:27 王亚妮 csdn.net 我要评论 (0) 字号： T | T Hadoop 命令你是否熟悉，这里就向大家简单介绍一下 Hadoop 命令使用问题，希望通过本文 的介绍大家对 Hadoop 命令有一定的了解。 AD： 在学习 Hadoop 的过程中，你可能经常遇到 Hadoop命令方面的问题，本节就向大家介绍一些常用的 Hadoop 命令，欢迎大家一起来学习。 Hadoop 命令手册 所有的 hadoop 命令均由 bin/hadoop 脚本引发。不指定参数运行 hadoop 脚本会打印所有命令的描述。 用法： hadoop[--configconfdir][COMMAND][GENERIC_OPTIONS][COMMAND_OPTIONS] Hadoop 有一个选项解析框架用于解析一般的选项和运行类。 命令选项描述 --configconfdir 覆盖缺省配置目录。缺省是 ${HADOOP_HOME}/conf。 GENERIC_OPTIONS多个命令都支持的通用选项。 COMMAND 命令选项 S 各种各样的命令和它们的选项会在下面提到。这些命令被分为用户命令管理命令两组。 Hadoop 命令常规选项 下面的选项被 dfsadmin,fs,fsck 和 job 支持。应用程序要实现 Tool 来支持常规选项。 GENERIC_OPTION描述 -conf<configurationfile> 指定应用程序的配置文件。 -D<property=value> 为指定 property 指定值 value 。 -fs<local|namenode:port> 指定 namenode。 -jt<local|jobtracker:port> 指定 jobtracker 。只适用于 job 。 -files< 逗号分隔的文件列表 >指定要拷贝到 mapreduce 集群的文件的逗号分隔的列表。只适用于 job 。 -libjars< 逗号分隔的 jar 列表 >指定要包含到 classpath 中的 jar 文件的逗号分隔的列表。只适用于 job 。 -archives< 逗号分隔的 archive 列表 >指定要被解压到计算节点上的档案文件的逗号分割的列表。 只适用于 job 。 用户命令 hadoop 集群用户的常用命令。 archive 创建一个 hadoop 档案文件。参考 HadoopArchives. 用法： hadooparchive-archiveNameNAME<src>*<dest> 命令选项描述 -archiveNameNAME要创建的档案的名字。 src 文件系统的路径名，和通常含正则表达的一样。 dest 保存档案文件的目标目录。 distcp Hadoop 命令 distcp 用于递归地拷贝文件或目录。参考 DistCp 指南以获取等多信息。 用法： hadoopdistcp<srcurl><desturl> 命令选项描述 srcurl 源 Url desturl 目标 Url fs 用法： hadoopfs[GENERIC_OPTIONS][COMMAND_OPTIONS] 运行一个常规的文件系统客户端。 各种命令选项可以参考 HDFSShell 指南。 fsck Hadoop 命令主要用来运行 HDFS文件系统检查工具。参考 Fsck 了解更多。 用法： hadoopfsck[GENERIC_OPTIONS]<path>[-move|-delete|-openforwrite][-files[-blocks[-locations|-ra cks]]] 命令选项描述 <path> 检查的起始目录。 -move 移动受损文件到 /lost+found -delete 删除受损文件。 -openforwrite 打印出写打开的文件。 -files 打印出正被检查的文件。 -blocks 打印出块信息报告。 -locations 打印出每个块的位置信息。 -racks 打印出 data-no