朱荣泽-开源DeepSeek 3FS的部署管理和生态开发v1.pdfVIP

开源DeepSeek3FS的部署管理和生态开发

AI基础架构的存储革命

XSKY产品总监朱荣泽

大纲

1.DeepSeek3FS回顾

2.DeepSeek3FS架构取舍

3.DeepSeek3FS性能怪兽技术拆解

4.DeepSeek3FS开源生态的挑战

5.如何实现DeepSeek3FS的快速部署、运维管理、监控告警

6.DeepSeek3FS生态开发实践

7.架构师视角的启示

3FS回顾-DeepSeek严选

DeepSeek开源周3FS

周一FlashMLA面向RDMA和NVME设计

周二DeepEP的全闪文件存储。用于：

周三DeepGEMMAI训练

周四DualPipe、EPLBAI推理在24小时统计时段内，输入token总数为608B，

周五3FS、SmallPond数据分析和处理其中342Btokens（56.3%）命中KVCache硬盘缓

存。推理成本下降50%。

Cost-EffectiveAIInfraSmallPond

Fire-Flyer2集群有180个轻量级数据处理框架，构

存储节点，物理网络上限是建在DuckDB和3FS之

9TB/s，实测3FS读吞吐上。

8TB/s。易于处理PB级规模的数

提供20PiB存储可用容量。据集。

DeepSeek3FS架构取舍

吞吐带宽和高并发读性能好海量小文件性能差覆盖写性能差为AI场景而生的存储系统

1、元数据和数据分离

•元数据服务将文件语义转化为KV语义，选用FDB作为KV存储。简化

设计，易于实现。

•会导致海量小文件性能差，推出FFrecord数据格式来弥补。

2、FUSE接口和高性能USRBIO接口

•FUSEPOSIX接口适用于大部分应用

•用户态异步接口USRBIO适用于高性能应用

3、客户端直接访问所有存储节点

•避免元数据服务和存储网关成为瓶颈

•支持对存储节点进行batchRead，减少通信次数

4、端到端无缓存设计