HDFS和KFS比较..docxVIP

HDFS和KFS 比较By云深作者：Terry/Lanlan/Adam 2009年1月转载请注明出处1、HDFS 和 KFS 简介两者都是GFS的开源实现，而HDFS 是Hadoop的子项目，用Java实现，为Hadoop上层应用提供高吞吐量的可扩展的大文件存储服务。Kosmosfilesystem（KFS） is a high performance distributed filesystem for web-scale applications such as, storing log data, Map/Reduce data etc. It builds upon ideas from Google‘s well known Google Filesystem project. 用C++实现本文选取的源码版本如下：hadoop-Kfs 0.2.2 2、HDFS和KFS体系架构图1 体系架构HDFS和KFS都属于分布式文件系统，它们的元数据管理采用集中式方式实现，数据实体先分片然后分布式存储。本文先介绍这类系统的模块组成以及各模块的关键技术，并以此为线索分析和比较HDFS的异同点。HDFS和KFS大致有以下几个模块组成：MetaServer：Namespace 管理Layout管理MetaImage管理Lease管理ChunkServer：Chunk管理Chunk存储Client Transaction Layer，该部分是系统给上层应用提供的接口，本文不予比较。3、HDFS和KFS各模块的关键技术HDFS和KFS关键实现技术如下：MetaServer：Namespace的组织和维护MetaData的序列化和加载系统恢复Chunk Layout的ChunkServer选择Lease的管理和维护ChunkServer：Chunk存储组织本地Chunk 信息的重建Chunk失效处理Client Transaction：文件操作4、HDFS和KFS MetaServer实现的比较（1）Namespace的组织和维护HDFS Namespace的组织采用Component模式，文件夹、文件和Chunk组成如下层次结构。Root /------| |-----/terry---|---/sub0 |----file3---|---block0 |---block1|-----/adam--|---/sub0 |-------file0 | --block2|-------tmpfile1 |---block3 |---block4KFS采用B+树存放文件系统的结点信息，各结点存有父结点的索引，从而实现文件夹、文件和Chunk的层次关系。5、HDFS和KFS MetaServer实现的比较（2）LayoutManagement实现，包括Chunk Server选择算法、负载均衡实现。Chunk Server选择算法包括以下：Chunk 创建时，Chunk Server的选择；Chunk 实际拷贝数与需求不一致时，Chunk的重拷贝和删除问题。写入的ChunkServer具备的基本条件如下：节点处于活跃期；节点有Chunk读（拷贝源节点）或写（拷贝目标节点）并发的余量；节点网络流量小于系统平均流量的两倍；作为存储点，节点有存储余量；Chunk在该节点所属Rack上的拷贝数没到上限；基本原则：HDFS优先保证前3份拷贝有两份在一个Rack上，另一份在不同的Rack上；而KFS要求拷贝均匀分散在不同的Rack上。Chunk创建时，第一个存储点的选择问题：当创建Chunk的Client上部署有Chunk Server时，HDFS和KFS均优先选择该节点为首存储点；否则，HDFS随机选择，KFS优先选择存储和网络负载较轻的节点。根据上述基本原则选择其余节点。拷贝数小于需求时，HDFS根据基本原则选择备用节点；KFS优先选择失效节点相同Rack上的节点；拷贝数大于需求时，HDFS根据基本原则删除多余的Location；KFS优先考虑拷贝的均匀分布，然后再根据节点的负载选择失效拷贝。6、HDFS和KFS MetaServer实现的比较（3）MetaServer根据Namespace中的chunk列表，将列表乱序，依此扫描chunk location信息，将存储或网络负载超过阈值的节点上的拷贝标志为失效，并转存到负载较低的节点上。负载控制方面：HDFS任务分配较KFS精细；HDFS实现上有网络流量控制，KFS没有。实现方式上：HDFS使用多线程实现多任务并发执行，而KFS使用Reactor模式实现多任务并发。7、HDFS和KFS MetaServer实现的比较（4）Meta Image Management，包括FSImage和操作