云计算架构与运维-02轻松玩转云端存储-轻运维时代云存储平台.pdfVIP

轻松玩转云端存储 —轻运维时代的云存储平台 陈湛翀 陌陌存储平台 • 图片、语音、视频等 • 近 1P 的存储容量 • 超过 300 亿的文件数 • 每天超过 1T 的增速 3 自建存储平台 4 •用户首先上传到 MOMO 的 API Server ，进行业务逻辑处 理 •API 层再上传到存储平台的 Cache 层，存储平台与业务逻 辑分离 •Cache 层异步上传到TFS ，并 作一定的图片处理 •业务文件名与TFS 的文件名的 对应关系使用 MySQL 维护 •Cache 层区分冷热数据存放 5 •可公开的数据和私密的数据不同 入口 •Cache 层是提供访问的主要部分 •冷数据才会穿透到TFS • 由于业务基于LBS ，没有热点内 容，长尾效应 •Cache 层还支持动态处理数据 •CDN 也是两层缓存 6 持续优化 • 用 RocksDB 替代 MySQL • 升级TFS 以支持纠删码 (erasure code ，EC) • 使用 Ceph 来替代TFS • more and more … 7 纠删码 Erasure Code •n 个数据，m 个校验 •可以容忍 m 个坏盘 •假设，n = 28 , m = 4. 使用 1.14 倍的容量，代替了之前 3 倍的容量，并且具有更高 的可靠性 8 Pros •数据安全 • 可控性 9 Cons •硬件成本（机房托管、设备、带宽等） • 人力成本（软件、硬件） 10 云存储平台 11 •上传过程更轻 •两个云存储实现高可用 •异步上传原图到云 •私密图片通过 GPG 加密后上传到 云 12 •proxy 层存在多个处理 module •docker 部署各个 module •disp