百度王耀-百度的分布式文件系统之路.pdf

百度的分布式文件系统之路 王耀@百度基础架构部 2016/05/14 百度分布式文件系统发展之路 • 开源时代 • GlusterFS • MooseFS • HDFS • 自研时代 • CCDB-NFS • PETA • AFS 百度的分布式文件系统 • 在线访问 • 低延迟 • 实时读写 AFS • 随机读写 • VFS挂载 • 离线计算 • 高吞吐 • 顺序读写 CCDB-NFS PETA • HDFS接口 从VFS到DFS • 概念 • dentry • inode • block • 分层 • NameSpace • FileMeta • FileData 分布式文件系统 • Client • Master • NameSpace • FileMeta • DataNode • FileData MFS • 简介 • MFS是MooseFS 的简称，是一个分布式网络文件系统， 将数据切片分散到多个存储设备上实现数据容错，可 以像本地文件系统一样进行挂载使用。 • 特点 • 类GFS 的开源C实现 • 通用文件系统(POSIX支持) • 高易用性(Mount 、Trash、Snapshot……) MFS 的读写流程 MFS 的问题和改进 • 问题 • Master元信息单点 • Master单线程性能瓶颈 • 修复与写入互斥 • 改进 • poll-epoll • 调大hash桶 • fuse调参 CCDB存储体系 Table File Object Interface Permission Isolation Priority Platform Replication Recovery Control Distributed Table Engine File Engine KV Engine Engine Replica Block System Raid-like Block System Block Memory SSD Disk Hardware CCDB-NFS • 简介 • CCDB-NFS是CCDB Network File System的简称，是CCDB 存储体系中File Storage 的实现。 • 部署上万台，接入上百个业务 • 特点 • 高可用 • 读写强一致 • 支持POSIX • 支持多租户 • 支持随机读写 • 支持写时修复 • 元信息分布式化 CCDB-NFS架构 • Master • 目录树 • 集群管理 • FileServer • 文