Hadoop大数据技术与项目实战 实训指导书——2.3.5 HDFS Shell命令行操作.pdf

山西职业技术学院《Hadoop大数据技术与项目实战》

HDFSShell命令行操作

一、任务描述

Hadoop集群中分布式文件系统HDFS用来存储海量数据，在此环境上可以通过

Shell命令行和HDFS进行交互，HDFS命令行接口是一种最直接，也比较简单的一种方

式，通过执行Shell命令对HDFS进行操作，进一步增加对HDFS的认识。本任务中练习

8个常用HSDFShell命令。

二、能力目标

能够熟练使用HDFS的Shell命令

三、任务准备

启动HDFS服务

四、任务实施

1.查看HDFS帮助

两个查看HDFS帮助的命令。

[bigdata@node1~]$hadoopfs

[bigdata@node1~]$hdfsdfs

2.查看HDFS根目录的列表信息

[bigdata@node1~]$hdfsdfs-ls/

运行结果如下所示。

Found3items

-rw-r--r--3bigdatasupergroup262021-05-0117:35/data.txt

drwxr-xr-x-bigdatasupergroup02021-05-0117:42/output

drwx-bigdatasupergroup02021-05-0117:42/tmp

1

山西职业技术学院《Hadoop大数据技术与项目实战》

3.创建HDFS目录

比如，在HDFS根目录下创建input目录。

[bigdata@node1~]$hdfsdfs-mkdir/input

在浏览器地址栏中输入192.168.100.3:9870，在WebUI界面中查看HDFS根目录，

如下图所示。

4.将本地的数据文件上传至HDFS

将node1节点/opt/testData目录中的data.txt文件，移动并上传至HDFS的/input

目录下。

[bigdata@node1~]$cd/opt/testData/

[bigdata@node1testData]$hdfsdfs-moveFromLocaldata.txt/input

在WebUI查看HDFS的/input中的内容，data.txt文件上传成功，如下图所示。

2

山西职业技术学院《Hadoop大数据技术与项目实战》

5.查看HDFS上的文件内容

查看HDFS上/input/data.txt的内容。

[bigdata@node1testData]$hdfsdfs-cat/input/data.txt

hadoopspark

hadoopspark

6.修改HDFS文件或目录的用户名及权限

比如，将HDFS上/input/data.txt的所属用户修改为root用户。

[bigdata@node1testData]$hdfsdfs-chownroot/input/data.txt

执行命令后，在HDFSWebUI界面中查看，文档的所属用户已经由bigdata修改为

root用户。

3

山西职业技术学院《Hadoop大数据技术与项目实战》

将HDFS上/input/data.txt文件权限设为最大权限。

[bigdata@node1testData]$hdfsdfs-chmod777/input/data.txt

执行命令后，在HDFSWebUI界面中查看，文档的权限做了相应修改，如下图所示。

7.将HDFS中的文件下载到本地

将HD