Hadoop基本文件系统操作.doc.docVIP

Hadoop基本文件系统操作 操作Hadoop文件系统命令格式： hadoop fs 命令参数 URI 需要说明的是URI的格式： 模式://namenode:namenodeport/path URI的模式有两种，如果是HDFS文件系统，模式是hdfs://namenode:namenodeport。一个HDFS文件或目录/user/yarn，可以表示成hdfs://namenode:namenodeport/user/yarn。也可以使用简洁的写法如/user/yarn，因为hdfs://namenode:namenodeport在配置文件中做了默认配置。 如果是本地文件系统，模式是file:///。如：/home/yarn可以表示成file:///home/yarn。 没有特别说明，本书的所有测试就在伪分布式模式下进行，下面用命令行操作文件系统，例如：读取文件，创建目录，移动文件，删除数据，列出索引目录等等。 通过命令hadoop fs -help可以看到命令详细帮助文件。 准备工作：在/home/yarn目录下创建文本文件fs.txt文件。 命令： cd /home/yarn vi fs.txt 文件内容： 1 I study Hadoop 2 I study HDFS 3 I study MapReduce 4 I study YARN 保存后退出。 put命令：把本地文件上传到HDFS。第一个参数是本地文件系统的路径，第二个参数是HDFS分布式文件系统的路径。 hadoop fs -put 本地文件路径 HDFS文件路径 如：本地文件路径和HDFS文件路径都是完整路径 hadoop fs -put /home/yarn/fs.txt hdfs://YARN:9000/user/yarn/fs.txt 本地文件路径可以是相对路径： 如：当前目录是/homt/yarn hadoop fs -put fs.txt hdfs:// YARN:9000/user/yarn/fs.txt 如：当前路径是home hadoop fs -put yarn/fs.txt hdfs:// YARN:9000/user/yarn/fs.txt HDFS文件路径可以缺省hdfs://YARN:9000，在core-site.xml文件中有如下配置： property namefs.defaultFS/name valuehdfs://YARN:9000//value /property 如： hadoop fs -put /home/yarn/fs.txt /user/yarn/fs.txt 如：也可以省略/user/yarn/，HDFS默认当前用户的默认路径 hadoop fs -put /home/yarn/fs.txt fs.txt get命令：从HDFS上下载文件到本地 hadoop fs -get HDFS文件路径 本地文件路径 如：从HDFS上下载文件到本地，使用完整路径 hadoop fs -get hdfs://YARN:9000/user/yarn/fs.txt /home/yarn/fs.txt 如：HDFS文件路径可以缺省hdfs://YARN:9000 hadoop fs -get /user/yarn/fs.txt /home/yarn/fs.txt 如：也可以省略/user/yarn/，HDFS默认当前用户的默认路径 hadoop fs -get fs.txt /home/yarn/fs.txt 如：本地路径可以使用相对路径，当前目录/home/yarn，下载文件到/home/yarn目录下 hadoop fs -get /user/yarn/fs.txt fs.txt 如：可以使用下面方式，路径前面加上file:/// hadoop fs -get /user/yarn/fs.txt file:///home/yarn/fs.txt 如：可以使用完全完整路径 hadoop fs -get hdfs://YARN:9000/user/yarn/fs.txt file:///home/yarn/fs.txt 如：当前目录/home，下载文件到/home/yarn/目录下 hadoop fs -get /user/yarn/fs.txt yarn/fs.txt mkdir命令：在HDFS文件系统上创建目录 hadoop fs -mkdir 目录名称 如：创建目录 hadoop fs -mkdir hdfs:/