大数据技术基础及应用实验手册4.HDFS文件系统实战.pdfVIP

4HDFS文件系统实战

4.1实验背景

HDFS是Hadoop大数据平台中的分布式文件系统，为上层应用或其他大数据组件提供

数据存储，如Hive，Mapreduce，Spark，HBase等。在HDFSshell客户端我们可以实

现对分布式文件系统的操作和管理等。掌握HDFS的使用对我们更好的理解和掌握大数

据大有裨益。

4.2实验目的

掌握HDFS常用操作。

掌握HDFS文件系统管理操作。

4.3实验前提

实验环境创建成功后，请等待1-2分钟，后台在执行start-oms.sh脚本：

1.执行sh${BIGDATA_HOME}/om-server/om/sbin/status-oms.sh命令查看OMS

的状态，显示信息表示主备OMS服务启动正常再执行下一步。

2.在windows-client打开GoogleChrome浏览器登录FusionInsightManager

地址（00:8080/web）。

3.用户名admin，密码Huawei!@34（如原密码过期，则自行修改密码）

4.登录FusionInsightManager后，单击“服务管理”，选择“更多操作启

动集群”。

5.在弹出的提示框中单击“确定”，开始启动集群。界面提示“操作成功。”，

单击“完成”，集群成功启动。

6.使用SecureCRT工具登录到fihsots-1节点上，接下来进行环境变量设置与

用户认证。

cd/opt/hadoopclient/切换到客户端安装目录。

sourcebigdata_env配置环境变量。

kinituser01进行用户认证，输入用户密码

客户端文件安装于fihosts-1服务器的/opt/hadoopclient目录中，认证用

户user01，密码Huawei!@34

4.4实验任务

4.4.1HDFS常用操作

常用命令操作

步骤1-help功能：查看命令使用说明。

hdfsdfs-help

Usage:hadoopfs[genericoptions]

[-appendToFilelocalsrc...dst]

[-cat[-ignoreCrc]src...]

[-checksumsrc...]

[-chgrp[-R]GROUPPATH...]

[-chmod[-R]MODE[,MODE]...|OCTALMODEPATH...]

[-chown[-R][OWNER][:[GROUP]]PATH...]

[-copyFromLocal[-f][-p][-l]localsrc...dst]

[-copyToLocal[-p][-ignoreCrc][-crc]src...localdst]

[-count[-q][-h][-v][-t[storagetype]]path...]

[-cp[-f][-p|-p[topax]]src...dst]

[-createSnapshotsnapshotDir[snapshotName]]

[-deleteSnapshotsnapshotDirsnapshotName]

[-df[-h][path...]]

[-du[-s][-h]path...]

步