Mangix 美团云分布式对象存储系统.pdf

Mangix 美团云分布式对象存储系统 设计与实现 李凯 2016.4 自我介绍 • 李凯 ：美团云高级技术专家 • 美团云计算 存储团队 • 阿里巴巴 OceanBase • 百度 Pyramid • 北京邮电大学 • 研究方向 ：分布式存储、高可用、数据库 内容提要 • 云计算与存储 • 分布式存储系统设计 • 美团云对象存储系统设计 • 云存储系统生态体系 云计算与存储 • 云计算平台存储产品 • 主机本地存储 • 弹性块存储 （EBS ） • 对象存储 （S3 ） • KV与数据库 读写延迟 可用性 可扩展性 按量付费 多点读写 长度适配 主机本地存储 低 低 无 ✘ ✘ 通用 弹性块存储 （EBS ） 低 高 中 ✘ ✘ 通用 对象存储 （S3 ） 高 高 高 ✓ ✓ 百KB KV与数据库 中 高 高 ✓ ✓ 百KB 云计算与存储 • 云计算平台存储产品应用场景 • 主机本地存储 ，弹性块存储 （EBS ）：主机本地磁盘 • KV与数据库 ：结构化数据存储与缓存 ，数据库事务 • 对象存储 （S3 ）： • 内容存储和分发 （图片、视频、网站静态资源 ） • 数据分析的存储 • 备份、归档和灾难恢复 • 静态网站托管 • 主机镜像 云计算与存储 • 对象存储的特点 • Key-Value ：用户指定Key • 一次写入多次读取 ，少量更新 • 小对象与大对象共存 （万亿个 ，几十KB~几TB ） • HTTP接口 • AWS-S3事实标准 • 账户-桶管理结构 • 权限体系 内容提要 • 云计算与存储 • 分布式存储系统设计 • 美团云对象存储系统设计 • 云存储系统生态体系 分布式存储系统设计 • 数据分布与元数据 • 运维、迁移恢复、元数据可扩展性 • 一致性Hash ：Swift ，Ceph • 元数据集中存储 ：GFS ，HDFS ，Haystack • 高可用 • Swift ：计算在Hash Ring上的新位置 • GFS ：更换一组新的副本 • Spanner ：多数派 • 跨机房副本 ：实时 vs. 非实时 分布式存储系统设计 • 物理存储形式 • 直接存储 • 聚合存储 • Update/ Delete vs. Append Only • Replica vs. Erasure Code ，EC恢复 • 硬件环境 • 万兆网卡 • 低成本 ：低端CPU、高密度存储 内容提要 • 云计算与存储 • 分布式存储系统设计 • 美团云对象存储系统设计 • 云存储系统生态体系 美团云对象存储系统设计 • S3存储模型 • 系统架构 • 存储设计 • 元数据设计 • 工程实践经验 • 分布式系统质量控制 美团云对象存储系统设计 • S3存储模型