TDH大数据平台实验_03_HDFS基本操作.pdfVIP

平台认证数据工程师培训 课堂实验 一、基本信息 文档编号 文档版本 1.0 实验名称 HDFS 基本操作 所属课程 第2 讲 分布式存储系统HDFS 认证等级 数据工程师 （初级） 授课形式 上机实验 实验批次 第3 次 / 共11 次 二、实验目的  实践HDFS 基本命令，具备在HDFS 上存取文件的能力。  理解HDFS 文件块与Linux 文件的关系。  理解Namenode 的Active 和Standby 状态，手动实现状态切换。  实践利用HDFS 快照功能备份、恢复目录。 三、实验准备  实验目录规划（zhangsan 代表学员姓名） （1）本地目录：mnt/disk1/zhangsan ； （2 ）HDFS 采集目录：/tmp/zhangsan/hdfs 。 四、实验内容 1、查看Java 进程  任务：查看集群各节点的Java 后台服务进程，判断服务是否正常启动。  步骤 （1）TDH 4.x Linux ： // 以root 身份登录服务器 1. ssh root@172.16.140.85 // 查看Java 后台服务进程 2. jps （2 ）TDH 5.x Linux: 1 平台认证数据工程师培训 // 列出所有HDFS 相关的容器信息 1. docker ps | grep hdfs // 列出所有Datanode 相关的容器信息 2. docker ps | grep hdfs-datanode // 选择Datanode dockerId ，在该容器中启动bash ，查看容器中的进程，最后退出bash 3. docker exec -it {dockerId} /usr/bin/bash 4. jps 5. exit // 列出所有Namenode 相关的容器信息 6. docker ps | grep hdfs-namenode // 选择Namenode dockerId ，在该容器中启动bash ，查看容器中的进程，最后退出bash 7. docker exec -it {dockerId} /usr/bin/bash 8. jps 9. exit 2、创建目录  任务：在HDFS 上创建目录“/tmp/zhangsan/hdfs ”。  步骤 Linux ： // 将Hadoop 当前用户设置为hdfs ，为HDFS 访问进行授权 1. export HADOOP_USER_NAME=hdfs // 创建目录 2. hadoop fs -mkdir -p /tmp/zhangsan/hdfs 3、修改目录权限  任务：将HDFS 目录“/tmp/zhangsan/hdfs ”的权限改为 “rwxrwxrwx ”。  步骤 Linux ： 1. hadoop fs -chmod -R 777 /tmp/zhangsan/hdfs 4、上传文件  任务：将本地文件“/var/log/transwarp-manager/master/transwarp-manager.log ”上传到HDFS 目录“/tmp/zhangsan/hdfs ”中。  步骤 Linux ： 1. cd /var/log/transwarp-manager/master 2. hadoop fs -put transwarp-manager.log /tmp/zhangsan/hdfs 2