(完美版)分布式文件系统HDFS.PPT文档.ppt

分布式文件系统HDFS;提纲;3.1 分布式文件系统;;;3.2 HDFS简介;;名称节点和数据节点;HDFS开源实现了GFS，可以利用由廉价硬件构成的计算机集群。

HDFS开源实现了GFS，可以利用由廉价硬件构成的计算机集群。

注意：创建一个Configuration对象时，其构造方法会默认加载工程项目下两个配置文件，分别是hdfs-site.

因此，HDFS设置了备份机制，把这些核心文件同步复制到备份服务器SecondaryNameNode上。

每个块都向名称节点发起请求，得到数据节点列表。

Configurationconf=newConfiguration();

getBytes();?//?要写入的内容

客户端与数据节点的交互是通过RPC（RemoteProcedureCall）来实现的。

实例：利用hadoop的javaapi检测伪分布式文件系统HDFS上是否有某文件？

如果是集群外提交，则随机挑选一台磁盘不太满、CPU不太忙的节点；

确认包沿着数据流管道逆流而上，经过各个节点最终到达客户端

HDFS把硬件出错看作一种常态，设计了错误恢复机制。

hadoopfs[genericOptions][commandOptions]

HDFS具有兼容廉价的硬件设备、流数据读写、大数据集、简单的文件模型、强大的跨平台兼容性等特点。

名称节点保存了所有的元数据信息，其中，最核心的两大数据结构是FsImage和Editlog，如果这两个文件发生损坏，那么整个HDFS实例将失效。;名称节点和数据节点;名称节点和数据节点;名称节点和数据节点;名称节点和数据节点;名称节点和数据节点;3.4 HDFS体系结构;;;通信协议;客户端;;3.5 HDFS存储原理;冗余数据保存;数据存取策略;数据存取策略;数据存取策略;数据错误与恢复;数据错误与恢复;数据错误与恢复;3.6 HDFS数据读写过程;3.6 HDFS数据读写过程;3.6 HDFS数据读写过程;3.6 HDFS数据读写过程;读数据的过程;写数据的过程;3.7HDFS编程实践;;;;;;;;;在配置好Hadoop集群之后，可以通过浏览器登录“http://[NameNodeIP]:50070”访问HDFS文件系统

Configuration?conf?=?new?Configuration();

负责文件和目录的创建、删除和重命名等

byte[]?buff?=?Hello?world.

分包被放入DFSOutputStream对象的内部队列

输入流根据前面的排序结果

6 HDFS数据读写过程

hadoopfs适用于任何不同的文件系统，比如本地文件系统和HDFS文件系统；

图3-1计算机集群的基本架构

数据节点是分???式文件系统HDFS的工作节点，负责数据的存储和读取，会根据客户端或者是名称节点的调度来进行数据的存储和检索，并且向名称节点定期发送自己所存储的块的列表。

txt;?//要写入的文件名

FileSystemfs=FileSystem.

查看文件“hdfs://localhost/home/administrator/tempfile/file1.

HDFS具有兼容廉价的硬件设备、流数据读写、大数据集、简单的文件模型、强大的跨平台兼容性等特点。

FileSystem是一个通用文件系统的抽象基类，可以被分布式文件系统继承，所有可能使用Hadoop文件系统的代码，都要使用这个类；

这些数据节点形成一个数据流管道

printStackTrace();;;;;;本章小结;感谢观看