大数据存储和处理-第四讲课件.ppt

HDFS 实战;Hadoop 运行模式 Hadoop 伪分布式安装 HDFS命令行工具 HDFS安全模式 启动、停止HDFS服务 如何查看HDFS日志 如何查看HDFS Web控制台 HDFS参数配置;单机 在一个Java进程内模拟Hadoop的各个角色 伪分布式 由各个Java进程来模拟Hadoop的各个角色 集群环境 ;Hadoop Filesystem shell $HADOOP_HOME_BASE/bin/hadoop fs args FS shell使用URIs地址 Schema://autority/path 例如 hdfs://namenodehost：port/folder1/folder2 file:///home/tcloud/child 如果不指定schema，则使用配置文件中的默认地址 可以使用hadoop fs –help 查看所有命令;用途 显示一个或多个文件内容到控制台 使用方法 hadoop fs -cat URI [URI ...] 例子: hadoop fs -cat hdfs://host1:port1/file1 hdfs://host2:port2/file2 hadoop fs -cat file:///file3 /user/hadoop/file4 ;用途 将本地一个或多个文件导入HDFS 以上两个命令唯一的不同时copyFromLocal的源只能是本地文件，而put可以读???stdin的数据 使用方法 hadoop fs -put/copyFromLocal localsrc URI 例子: hadoop fs -put localfile.txt /user/hadoop/hadoopfile.txt hadoop fs -put localfile1 localfile2 /user/hadoop/hadoopdir hadoop fs -put localfile hdfs://host:port/hadoop/hadoopfile hadoop fs -put - hdfs://host:port/hadoop/hadoopfilefromstdin;用途 将HDFS中的一个或多个文件导出到本地文件系统 使用方法 hadoop fs -get/copyToLocal [-ignorecrc] [-crc] URI localsrc 例子: hadoop fs -get /user/hadoop/hadoopfile localfile hadoop fs -get hdfs://host:port/user/hadoop/file localfile;用途 列出文件夹目录信息 lsr递归显示文件子目录 使用方法 hadoop fs -ls/lsr URI 例子:;用法 hadoop fsck [GENERIC_OPTIONS] path [-move | -delete | -openforwrite] [-files [-blocks [-locations | -racks]]] 检查dfs的文件的健康状况 只能运行在master上 ;fsck;用法 hadoop dfsadmin [command] hadoop dfsadmin -help 可以列出所有的可用命令 主要的有一下几个 -safemode 安全模式操作 -report 报告集群DFS的运行情况 可以使用 hadoop dfsadmin -help 查看所有命令的用法;指文件系统所处的一种只读的安全模式 HDFS启动时会在safemode状态 相关命令： ;NameNode $HADOOP_HOME_BASE/bin/hadoop-daemon.sh start namenode Secondary NameNode $HADOOP_HOME_BASE/bin/hadoop-daemon.sh start secondarynamenode DataNode 同时启动：$HADOOP_HOME_BASE/bin/hadoop-daemons.sh start datanode 单台启动：$HADOOP_HOME_BASE/bin/hadoop-daemon.sh start datanode NameNode、Secondary NameNode、 DataNode $HADOOP_HOME_BASE/bin/start-dfs.sh ;NameNode $HADOOP_HOME_BASE/bin/hadoop-daemon.sh stop namenode Secondary NameNode $HADOOP_HOME_BASE/bin/hadoop-daemon.sh stop second