肖松-2024大模型场景下智算平台的设计与优化实践.pdf

大模型场景下智算平

台的设计与优化实践

肖松

2024.06.14

引言

不同时期对智算平台的需求

2018

客户A我资源比较少，几十卡的规模，如何提升卡的利用率？

客户B我的模型跑起来耗时长，能加速吗？

客户C我想跑大模型，需要多少资源？网络如何构建？多长时间能跑完？

客户D国产卡怎么用？能否与NV卡一起使用？

2024

2

目录

01大模型时代，智算平台新特点4

02智算平台需解决的问题6

03大模型场景技术实践8

04对于智算平台发展的未来思考25

01大模型时代，智算平台新特点

小模型vs.大模型

大模型时代，智算平台新特点

小模型vs.大模型

ResNet50（小模型）GPT-4（大模型）工程问题

158秒$1555天$2150万增强：耗时长凸显大模型训推加速需求

新增：成本高带来稳定性需求，减少资源闲置

训练时长训练成本训练时长训练成本

参数25M（0.025B）参数1800B增强：参数爆炸突破显存墙，多机多卡成为常态

vs.新要求增强：卡间和机间高性能通信愈发重要

维持：GPU切分在小模型和推理场景依然存在

算力128块V100算力8192块H100

新增：新卡适配和芯片利旧，多芯混合调度

数据167G（ImageNet）数据13T新增：数据集处理加速

新增：数据湖存储和高性能存储

*数据来源：非官方数据，为业界推测

5

02智算平台需解决