HDFS常用操作分析和总结.pdf

调用文件系统(FS)Shell命令应使用 bin/hadoop fs -cmdargs 的形式。 所 有的的FS shell 命令使用URI 路径作为参数。URI 格式是 scheme://authority/path。对HDFS 文件系统，scheme 是hdfs，对本地文件系 统，scheme 是file。其中scheme 和authority 参数都是可选的，如果未加指 定，就会使用配置中指定的默认scheme。一个HDFS 文件或目录比如 /parent/child 可以表示成hdfs://namenode:namenodeport/parent/child，或 者更简单的/parent/child （假设你配置文件中的默认值是 namenode:namenodeport）。大多数FS Shell 命令的行为和对应的Unix Shell 命令类似，不同之处会在下面介绍各命令使用详情时指出。出错信息会输出到 stderr，其他信息输出到stdout。 mkdir 创建目录 使用方法：hadoop fs -mkdir paths 接受路径指定的uri 作为参数，创建这些目录。其行为类似于Unix 的mkdir - p，它会创建路径中的各级父目录。 示例： hadoop fs -mkdir /user/hadoop/dir1 /user/hadoop/dir2 hadoop fs -mkdir hdfs://host1:port1/user/hadoop/dir hdfs://host2:port2/user/hadoop/dir put 上传文件 使用方法：hadoop fs -put localsrc ... dst 从本地文件系统中复制单个或多个源路径到目标文件系统。也支持从标准输入 中读取输入写入目标文件系统。 hadoop fs -put localfile /user/hadoop/hadoopfile hadoop fs -put localfile1 localfile2 /user/hadoop/hadoopdir hadoop fs -put localfile hdfs://host:port/hadoop/hadoopfile hadoop fs -put - hdfs://host:port/hadoop/hadoopfile 从标准输入中读取输入。 返回值： 成功返 0，失败返 -1。 l 列出文件 使用方法：hadoop fs -ls args 如果是文件，则按照如下格式返回文件信息： 文件名 副本数 文件大小 修改日期 修改时间 权限 用户ID 组ID 如果是目录，则返回它直接子文件的一个列表，就像在Unix 中一样。目录返 列表的信息如下： 目录名 dir 修改日期 修改时间 权限 用户ID 组ID 示例： 1）列出HDFS 文件 此处为你展示如何通过-ls命令列出HDFS 下的文件： hadoop fs -l 执行结果如图5-1-1 所示。在这里需要注意：在HDFS 中未带参数的-ls 命名没有返回任何值，它默认返 HDFS 的home目录下的内容。在HDFS 中， 没有当前目录这样一个概念，也没有cd 这个命令。 列出HDFS 文件 2）列出HDFS 目录下某个文档中的文件 此处为你展示如何通过-l 文件名命令浏览HDFS 下名为input的文档 中文件： hadoop f –ls input 执行结果如图所示。 返回值： 成功返 0，失败返 -1。 lsr 使用方法：hadoop fs -lsr args l 命令的递归版本。类似于 Unix 中的 ls -R。 cat 使用方法：hadoop fs -cat URI [URI „] 将路径指定文件的内容输出到 stdout。 示例： hadoop fs -cat input/* 执行结果如图所示。 get 使用方法：hadoop fs -get [-ignorecrc] [-crc] src localdst 复制文件到本地文件系统。可用-ignorecrc 选项复制 CRC 校验失败的文件。使 用-crc 选项复制文件以及 CRC 信息。 示例： hadoop f –get in IN1 hadoop fs -get /user/hadoop/file localfile hadoop fs -get hdfs://host:port/user/hadoop