蚂蚁集团缓存加速系统PCache.pdfVIP

蚂蚁集团缓存加速系统

PCache

演讲人：顾树威

目录01AI训练对存储的需求和挑战

02PCache系统介绍

03面向AI场景的优化

04生态介绍

AI训练对存储的需求和挑战

01

第一章节

大模型训练对IO的需求

模型启动阶段

•顺序读checkpoint文件

•顺序读数据集索引文件

迭代训练

•随机读数据集

•顺序写checkpoint文件

AI数据读取的挑战

数据规模大

•语言模型数据集文件数：亿级别，容量：PB级别

•多模态训练集：十亿级别，容量：10PB级别。

流量特征

•爆发式的读checkpoint、dataset

索引文件流量

•持续性的随机读数据流量

AI数据写的挑战

训练Checkpoint机制

流量特征

•周期性

•爆发式

写checkpoint时，GPU全局停顿

•写的越快，GPU停顿时间越短

PCache系统介绍

02

第二章节

系统概述

引擎层

•Master：元数据管理节点

•Worker：数据节点

•JobMaster：内置Job管理节点

接口层

•FUSE：PosixAPI

•Proxy：多语言服务

•UnifileSdk：PyTorchDataLoader

持久化层

•对象存储

•文件存储

功能概述

预热(load)：数据从持久化存储加载到缓存系统

持久化(persist)：数据从缓存写入底层持久化存

储

淘汰(evict)：数据从缓存系统中删除，还可以从

UFS重新预热

数据读

•直读/穿透读

数据写

•先写PCache，在异步写到持久化存储