Hadoop基本文件系统操作.pdfVIP

一、Hadoop基本文件系统操作

操作Hadoop文件系统命令格式：

hadoopfs命令参数URI

需要说明的是URI的格式：

模式://namenode:namenodeport/path

URI的模式有两种，如果是HDFS文件系统，模式是hdfs://namenode:namenodeport。一

个HDFS文件或目录/user/yarn，可以表示成hdfs://namenode:namenodeport/user/yarn。也

可以使用简洁的写法如/user/yarn，因为hdfs://namenode:namenodeport在配置文件中做了

默认配置。

如果是本地文件系统，模式是file:///。如：/home/yarn可以表示成file:///home/yarn。

没有特别说明，本书的所有测试就在伪分布式模式下进行，下面用命令行操作文件系统，

例如：读取文件，创建目录，移动文件，删除数据，列出索引目录等等。

通过命令hadoopfs-help可以看到命令详细帮助文件。

准备工作：在/home/yarn目录下创建文本文件fs.txt文件。

命令：

cd/home/yarn

vifs.txt

文件内容：

1IstudyHadoop

2IstudyHDFS

3IstudyMapReduce

4IstudyYARN

保存后退出。

put命令：把本地文件上传到HDFS。第一个参数是本地文件系统的路径，第二个参数是

HDFS分布式文件系统的路径。

hadoopfs-put本地文件路径HDFS文件路径

如：本地文件路径和HDFS文件路径都是完整路径

hadoopfs-put/home/yarn/fs.txthdfs://YARN:9000/user/yarn/fs.txt

本地文件路径可以是相对路径：

如：当前目录是/homt/yarn

hadoopfs-putfs.txthdfs://YARN:9000/user/yarn/fs.txt

如：当前路径是home

hadoopfs-putyarn/fs.txthdfs://YARN:9000/user/yarn/fs.txt

HDFS文件路径可以缺省hdfs://YARN:9000，在core-site.xml文件中有如下配置：

property

namefs.defaultFS/name

valuehdfs://YARN:9000//value

/property

如：

hadoopfs-put/home/yarn/fs.txt/user/yarn/fs.txt

如：也可以省略/user/yarn/，HDFS默认当前用户的默认路径

hadoopfs-put/home/yarn/fs.txtfs.txt

get命令：从HDFS上下载文件到本地

hadoopfs-getHDFS文件路径本地文件路径

如：从HDFS上下载文件到本地，使用完整路径

hadoopfs-gethdfs://YARN:9000/user/yarn/fs.txt/home/yarn/fs.txt

如：HDFS文件路径可以缺省hdfs://YARN:9000

hadoopfs-get/user/yarn/fs.txt/home/yarn/fs.txt

如：也可以省略/user/yarn/，HDFS默认当前用户的默认路径

hadoopfs-getfs.txt/home/yarn/fs.txt

如：本地路径可以使用相对路径，当前目录/home/yarn，下载文件到/home/yarn目录下

hadoopfs-get/user/yarn/fs.txtfs.txt

如：可以使用下面方式，路径前面加上file:///

hadoopfs-get/user/yarn/fs.txtfile:///home/yarn/fs.txt

如：可以使用完全完整路径

hadoopfs-gethdfs://YARN:9000