HDFS和KFS的比较.pdfVIP

HDFS 和KFS 比较 1、HDFS 和 KFS 简介 两者都是GFS 的开源实现，而HDFS 是Hadoop 的子项目，用Java 实现，为Hadoop 上层应用提供高吞吐量的可扩展的大文件存储服务。 Kosmos filesystem （KFS） is a high performance distributed filesystem for web-scale applications such as, storing log data, Map/Reduce data etc. It builds upon ideas from Google‘s well known Google Filesystem project. 用C++实现 本文选取的源码版本如下： hadoop- Kfs 0.2.2 2、HDFS 和KFS 体系架构 图1 体系架构 HDFS 和KFS 都属于分布式文件系统，它们的元数据管理采用集中式方式实现，数据 实体先分片然后分布式存储。本文先介绍这类系统的模块组成以及各模块的关键技术，并以 此为线索分析和比较HDFS 的异同点。 HDFS 和KFS 大致有以下几个模块组成： MetaServer： Namespace 管理 Layout 管理 MetaImage 管理 Lease 管理 ChunkServer： Chunk 管理 Chunk 存储 Client Transaction Layer，该部分是系统给上层应用提供的接口，本文不予比较。 3、HDFS 和KFS 各模块的关键技术 HDFS 和KFS 关键实现技术如下： MetaServer： Namespace 的组织和维护 MetaData 的序列化和加载 系统恢复 Chunk Layout 的ChunkServer 选择 Lease 的管理和维护 ChunkServer： Chunk 存储组织 本地Chunk 信息的重建 Chunk 失效处理 Client Transaction： 文件操作 4、HDFS 和KFS MetaServer 实现的比较（1） Namespace 的组织和维护 HDFS Namespace 的组织采用Component 模式，文件夹、文件和Chunk 组成如下 层次结构。 Root /| |/terry|/sub0 |file3|block0 |block1 |/adam--|/sub0 |file0 | --block2 |tmpfile1 |block3 |block4 KFS采用B+树存放文件系统的结点信息，各结点存有父结点的索引，从