hadoop深入浅出-HDFS.pdf

HADOOP深入浅出 HDFS 研发中心 付斌 目录 分布式文件系统 思考：自己设计一分布式文件系统？ 仓库保管员：查 询/记录台账 提出入库请求 采购员（Client ） 办公室 存到2号仓库 直接沟通，送货 通知接收 通知存储 满了，请 求新库存 冗余存 储申请 冗 仓库1 仓库2 续 仓库3 余 仓库N 存 存 储 分布式文件系统（DFS ） • 分布式文件系统（Distributed File System ） • 数据量越来越多，在一个操作系统管辖的范围存不下了，那么就分配到更多的操作 系统管理的磁盘中，但是不方便管理和维护，因此迫切需要一种系统来管理多台机 器上的文件，这就是分布式文件管理系统 。 • 是一种允许文件通过网络在多台主机上分享的文件系统，可让多机器上的多用户分 享文件和存储空间。 • 通透性。让实际上是通过网络来访问文件的动作，由程序与用户看来，就像是访问 本地的磁盘一般。 • 容错。即使系统中有某些节点脱机，整体来说系统仍然可以持续运作而不会有数据 损失。 • 分布式文件管理系统很多，hdfs只是其中一种。适用于一次写入多次查询的情况， 不支持并发写情况，小文件不合适。 常见的分布式文件系统 常见的分布式文件系统有，GFS、HDFS、 Lustre 、Ceph 、GridFS 、mogileFS、 TFS、FastDFS等。各自适用于不同的领域。 它们都不是系统级的分布式文件系统，而 是应用级的分布式文件存储服务。 常见的分布式文件系统 GFS •Google公司为了满足本公司需求而开发的基于Linux的专有分布式文件系统。。尽管Google公布了 该系统的一些技术细节，但Google并没有将该系统的软件部分作为开源软件发布。 HDFS •Hadoop 实现了一个分布式文件系统（Hadoop Distributed File System ），简称HDFS。 Ceph •是加州大学圣克鲁兹分校的Sage weil攻读博士时开发的分布式文件系统,没有生产应用。 Lustre •Lustre是一个大