大数据平台构建：访问HDFS.pptxVIP

访问HDFS 一、HDFS Shell命令 HDFS Shell命令允许使用命令行的方式在HDFS存储中进行文件夹和文件操作，包括像：文件夹的增删改查、文件的增删改查等等。 HDFS Shell命令 调用文件系统(FS)Shell命令应使用 bin/hadoop fs args的形式。 所有的的FS shell命令使用URI路径作为参数。URI格式是scheme://authority/path。对HDFS文件系统，scheme是hdfs，对本地文件系统，scheme是file。其中scheme和authority参数都是可选的，如果未加指定，就会使用配置中指定的默认scheme。一个HDFS文件或目录比如/parent/child可以表示成hdfs://namenode:namenodeport/parent/child，或者更简单的/parent/child（假设你配置文件中的默认值是namenode:namenodeport）。大多数FS Shell命令的行为和对应的Unix Shell命令类似，不同之处会在下面介绍各命令使用详情时指出。出错信息会输出到stderr，其他信息输出到stdout。 一、HDFS Shell命令 该命令选项表示查看指定路径的当前目录结构，后面跟hdfs路径。 ls命令和mkdir命令 ：Hadoop fs –lsargs 该命令选项表示创建文件夹，后面跟的路径是在hdfs将要创建的文件夹。 ：Hadoop fs –mkdirpaths 一、HDFS Shell命令 该命令选项表示把linux上的文件复制到hdfs中。 put命令和cat命令 ：Hadoop fs –putlocalsrc…dst 该命令选项是查看文件内容。 ：Hadoop fs –cat URI[URI…] 一、HDFS Shell命令 该命令选项表示复制hdfs指定的文件到指定的hdfs目录中。后面跟两个路径，第一个是被复制的文件，第二个是目的地。 cp命令和mv命令 ：Hadoop fs –cp URI[URI…]dest 该命令选项表示移动hdfs的文件到指定的hdfs目录中。后面跟两个路径，第一个表示源文件，第二个表示目的目录。 ：Hadoop fs-mv URI[URI…]dest 一、HDFS Shell命令 该命令表示将HDFS文件下载到本地文件系统。 get命令和rm命令 ：hadoop fs –get [-ignorecrc] [-crc] src localdst 该命令选项表示删除指定的文件或者空目录。 ：hadoop fs-rm URI [URI…] 一、HDFS Shell命令 该命令选项是在hdfs中创建空白文件。 touchz命令和chmod命令 ：hadoop fs –touchz URI [URI…] 该命令选项的使用类似于linux的shell中的chmod用法，作用是修改文件的权限。 ：hadoop fs-chmod [-R] MODE[,MODE]… | OCTALMODE URI [URI…] 一、HDFS Shell命令 该命令选项表示修改文件的属主。 chown命令和chgrp命令 ：hadoop fs-chown [-R] [OWNER] [ : [GROUP] ] URI [URI] 该命令的作用是修改文件的属组，该命令相当于“chown :属组”的用法。 hadoop fs-chgrp [-R] GROUP URI URI [URI…] 一、HDFS Shell命令 该命令选项显示指定路径下的文件大小，单位是字节。 du命令 ：hadoop fs-du URI [URI…] 习题： 1、将本地文件上传到HDFS应该使用什么命令？ 2、将HDFS系统上的文本文件下载到本地应该使用什么命令？ 3、修改HDFS文件的owner为“admin”应该使用什么命令？ 4、查看HDFS系统某个文件目录下的文件大小应该使用什么命令? 习题 谢谢观看