《大数据导论》课件——第一章.pptxVIP

大数据导论;;;职责：

（1）存储数据块

（2）负责客户端对数据块的IO请求

（3）DataNode定时和NameNode进行心跳通信，接受NameNode的指令。

数据块大小：

Hadoop1.x默认64MB，

Hadoop2.x默认128MB;DataNode;DataNode;;目录;定期地创建命名空间的检查点（CheckPoint）操作：把edits中最新的状态信息合并到fsimage文件中，防止edits过大。

也可以做冷备，对一定范围内数据做快照性备份。;合并过程;检查点（checkpoint）;检查点的作用（合并的作用）是什么？

可以减少namenode的启动时间;;;YARN-进程;YARN-Web界面;什么是YARN;YARN在Hadoop生态圈中位置;;;;;HDFS具有较高的容错性，可以兼容廉价的硬件，它把硬件出错看作一种常态，而不是异常，并设计了相应的机制检测数据错误和进行自动恢复，主要包括以下几种情形：

名称节点出错

数据节点出错

数据出错

;1、NameNode出错：用SecondaryNameNode备份的fsimage恢复

HA(HighAvailability)高可用：多个NameNode

2、DataNode出错：DataNode与NameNode通过“心跳”报告状态，失效后会启动数据冗余复制。

3、数据出错：采用md5和sha1对数据块进行校验。

;;通过WebConsole

通过Shell命令

通过JavaAPI;NameNodeweb管理端口50070，可以查看文件系统概况，数据节点信息，快照，目录结构及文件属性等。;通过WebConsole;通过WebConsole;通过Shell命令;通过Shell命令;通过Shell命令;Configuration类

该类的对象封装了配置信息

FileSystem类

文件系统类，可使用该类的方法树对文件/目录进行操作，一般通过FileSystem的静态方法get获得一个文件系统对象

FSDataInputStream和FSDataOutputStream类

HDFS中的输入输出流。分别通过FileSystem的open方法和create方法获得

以上类均来自java包：org.apache.hadoop.fs;;;安全模式是HDFS所处的一种特殊状态，在处于这种状态时，文件系统只接受读数据请求，不能对文件进行写，删除等操作。

查看当前状态：

hdfsdfsadmin-safemodeget

进入安全模式：

hdfsdfsadmin-safemodeenter

强制离开安全模式：

hdfsdfsadmin-safemodeleave

一直等待直到安全模式结束：

hdfsdfsadmin-safemodewait;HDFS为每一个用户都创建了回收站，这个类似操作系统的回收站。位置是/user/用户名/.Trash/。

操作演示：

1、列出某目录下的文件

hdfsdfs-ls

2、把其中的一个文件file1删除

hdfsdfs-rmfile1

3、到回收站可看到刚才删除的file1

hdfsdfs-ls/user/hadoop/.Trash/Current/tmp

4、把file1从回收站移动到/home/haoop/目录下

hdfsdfs-mv/user/hadoop/.Trash/Current/tmp/file1/home/hadoop/

5、到/home/hadoop/查看即可看到恢复的文件file1

hdfsdfs-ls/tmp/sqoop1;快照功能默认禁用，开启或禁用快照功能，需要针对目录操作，命令如下(snapshotDir表示某个目录)：

hdfsdfsadmin-allowSnapshotsnapshotDir

hdfsdfsadmin-disallowSnapshotsnapshotDir

创建快照、删除快照、重命名快照的命令如下：

hdfsdfs-createSnapshotsnapshotDir[snapshotName]

hdfsdfs-deleteSnapshotsnapshotDirsnapshotName

hdfsdfs-renameSnapshotsnapshotDiroldNamenewName

;HDFS提供了两种配额的命令（hdfsdfsadmin）

（1）setQuota

hdfsdfsadmin-setQuotaquotadirname...dirname

setQuota指的是对HDFS中某个目录设置文件和目录数量之和的最大