Hadoop大数据开发基础 第2版 第3章 Hadoop基础操作.pptVIP

首先介绍了Hadoop的安全模式,了解Hadoop安全模式的机制和作用，掌握Hadoop安全模式的查看、解除和开启。 接着结合实际任务及多个示例，介绍Hadoop集群的文件系统与计算资源信息的查询。 再重点介绍了Hadoop的HDFS文件系统的基本操作。 最后使用Hadoop的官方示例包执行MapReduce任务。 小结 1 查看Hadoop集群的基本信息 目录 认识Hadoop安全模式 2 上传文件到HDFS目录 3 运行首个MapReduce任务 4 管理多个MapReduce任务 5 HDFS是Hadoop的核心组件之一，负责文件数据的存储。 本小节的任务如下。 了解HDFS文件系统，以及HDFS与其他文件系统之间的关系。 其次介绍HDFS文件系统的基本操作。 将存储在Linux本地中的日志文件email_log.txt上传至HDFS的/user/root/目录下。 任务描述 文件系统是对文件存储设备的空间进行组织和分配，负责文件存储并对存入的文件进行保护和检索的系统。具体地说，HDFS文件系统负责为用户创建、写入、读出、修改和转储文件，当用户不再使用时删除文件等。 了解HDFS文件系统 Windows操作系统 Linux操作系统 安装于大部分个人计算机中，使用者将文件存储在磁盘驱动器（如D盘、E盘）的目录中。 在大部分企业服务器中，更多的是使用此操作系统，Linux文件系统以及类Linux的文件系统均提供了树状的文件目录结构，可以供使用者存储或读取文件。 Hadoop集群也有专有的文件系统，即HDFS，HDFS也使用了类Linux的目录结构进行文件存储。以第2章安装及配置的Hadoop集群为例，介绍HDFS与本地计算机的文件系统、Linux本地的文件系统之间的关系。 了解HDFS文件系统 在使用HDFS文件系统前，需要对HDFS所存储的内容有一定的了解，可以通过浏览HDFS目录结构与文件列表进行查看。 在本地计浏览器的地址栏输入“http://master:9870”网址，远程访问HDFS的监控服务端口。当需要访问HDFS上的目录及文件时，可以单击网页的“Utilities ”标签栏，在下拉选项中选择“Browse the file system ”选项。 了解HDFS文件系统 与Linux文件系统相似，根目录“/”是HDFS所有目录的起始点。 HDFS的根目录“/”下的目录列表。 继续单击图中的“test”超链接，将可以浏览/test目录下的内容。图中显示了HDFS的/test目录下的列表，此目录下有一个文件1.txt。以此类推，可以通过单击界面上的目录链接，浏览更多的子目录。 继续单击图中的文件“1.txt”超链接，在弹出的新窗口中单击“Head the file(first 32K)”选项，将在窗口下方出现“File contents”文本显示框，显示文件前32KB的内容。 了解HDFS文件系统 假定已有数据文件data.txt，存储在本地计算机（Windows系统）的E盘中，现需要将该数据文件上传至HDFS的/user/root/目录下，常用的解决方法如下。 文件上传的操作流程如下，分为两步。 在本地计算机中使用SSH或FTP工具上传文件至Linux本地的目录（master节点），如/root/hadoop/目录。 在master节点终端，使用HDFS命令，上传文件至HDFS的/user/root/目录下。 同理，也可以通过逆向操作进行文件的下载，即将HDFS上的文件下载至本地计算机中。 了解HDFS文件系统 在集群服务器的终端，输入“hdfs dfs”命令，按“Enter ”键回车后即可看到HDFS基础操作命令的使用帮助。 “[-mkdir [-p] path...] ”的命令可用于创建目录，参数path用以指定创建的新目录。在HDFS中创建/user/dfstest目录，查看在HDFS文件目录/user/下的文件列表，可查看到新创建的目录。 “hdfs dfs -mkdir path”的命令只能逐级地创建目录，如果父目录不存在，那么使用该命令将会报错。若加上参数“-p”，则可以同时创建多级目录。 掌握HDFS的基本操作 1. 创建目录 创建了新目录/user/dfstest后，即可向该目录上传文件。通过hdfs dfs命令查看上传文件命令的使用帮助。 掌握HDFS的基本操作 2. 上传与下载文件 命 令 解 释 hdfs dfs [-copyFromLocal [-f] [-p] [-l] localsrc ... dst] 将文件从本地文件系统复制到HDFS文件系统，主要参数localsrc为本地文件路径，dst为复制的目标路径 hdfs dfs [-moveFromLocal