常亮-为大规模AI构建高效数据基础设施的技术挑战与实践.docxVIP

为大规模AI构建高效数据基础设施的技术挑战与实践

为大规模AI构建高效数据

基础设施的技术挑战与实践

演讲人：常亮

目录AI存储在混合云场景下面临的技术挑战0102AI数据存储的特点CubeFS支撑AI存储的技术要点与实践面向AI存储构建下一代混合云存储的方案0304

目录

AI存储在混合云场景下面临的技术挑战

01

02

AI数据存储的特点

CubeFS支撑AI存储的技术要点与实践

面向AI存储构建下一代混合云存储的方案

03

04

AI数据0

AI数据0存储的特点

AI整体架构HDFSPOSIXOSSCPURDMAGPU|NPU基础资源大数据集成SparkRAYS3/HDFS弹性训练分布式训练DeepSpeed框架生命周期推理推理引擎事件处理模型存储与管理作业管理kubeflowarena流水线数据加速数据管理预热缓存任务调度

AI整体架构

HDFS

POSIX

OSS

CPU

RDMA

GPU|NPU

基础资源

大数据集成

SparkRAYS3/HDFS

弹性训练

分布式训练

DeepSpeed

框架

生命周期

推理

推理引擎

事件处理

模型存储与管理

作业管理

kubeflowarena流水线

数据加速

数据管理

预热缓存

任务调度

sGpuGangGPU拓扑

IDE

CodeNotebook共享

云原生基础设施

Chat