Hadoopfs命令详解.docVIP

Hadoop fs 命令详解 hadoop fs -ls path：等同于本地系统的ls，列出在指定目录下的文件内容，支持pattern匹配。输出格式如filename(full path) r n size.其中n代表replica的个数，size代表大小（单位bytes）。 hadoop fs -lsr path：递归列出匹配pattern的文件信息，类似ls，只不过递归列出所有子目录信息。 hadoop fs -du path：列出匹配pattern的指定的文件系统空间总量（单位bytes），等价于unix下的针对目录的du –sb path/*和针对文件的du –b path ，输出格式如name(full path) size(in bytes)。 -s Rather than showing the size of each individual file that matches the pattern, shows the total (summary) size. -h Formats the sizes of files in a human-readable fashion rather than a number of bytes. hadoop fs -dus path：等价于-du -s输出格式也相同，只不过等价于unix的du -sb。 hadoop fs -mv src dst：将制定格式的文件 move到指定的目标位置。当src为多个文件时，dst必须是个目录。 hadoop fs -cp src dst：拷贝文件到目标位置，当src为多个文件时，dst必须是个目录。 hadoop fs -rm [-skipTrash] src：删除匹配pattern的指定文件，等价于unix下的rm src。 hadoop fs -rmr [skipTrash] src：递归删掉所有的文件和目录，等价于unix下的rm –rf src。 hadoop fs -rmi [skipTrash] src：等价于unix的rm –rfi src。 hadoop fs -put localsrc … hdfs path dst：从本地系统拷贝文件到HDFS。 hadoop fs -copyFromLocal localsrc … hdfs path dst ：等价于-put。 hadoop fs -moveFromLocal localsrc … dst：等同于-put，只不过源文件在拷贝后被删除。 hadoop fs -get hdfs path localdst：从HDFS拷贝文件到本地文件系统，文件匹配pattern，若是多个文件，则dst必须是目录。 hadoop fs -getmerge hdfs path localdst：顾名思义，从HDFS拷贝多个文件、合并排序为一个文件到本地文件系统。 假设在你的hdfs集群上有一个/user/hadoop/output目录 里面有作业执行的结果（多个文件组成）part-000000,part-000001,part-000002 然后你想把所有的文件合拢来一起看 可以使用命令：hadoop?fs?-getmerge /user/hadoop/output local_file 然后就可以在本地使用vi local_file查看内容了 Hadoop fs –srtrep –R 2 / 递归设置节点根目录及子目录的副本数为2 hadoop fs -count[-q] path：计数文件个数及所占空间的详情，输出表格的列的含义依次为： hadoop fs -count -q /path/to/directory 可以看到这个目录真正的空间使用情况比较详细的空间和qutoa占用情况，包含了物理空间、逻辑空间、文件数、目录数、qutoa剩余量等。[wqm@DRM001 conf]$ hadoop fs -count / 49 25 309948 / 49表示根目录下有49个文件夹 25表示根目录下有25个文件 309948表示根目录下的所有文件总占空间大小，不包括副本 [wqm@DRM001 conf]$ hadoop fs -count -q / 9223372036854775807 9223372036854775729 none in