肖松-大模型场景下智算平台的设计与优化实践.docxVIP

大模型场景下智算平台的设计与优化实践肖松2024.06.14

大模型场景下智算平

台的设计与优化实践

肖松

2024.06.14

引言不同时期对智算平台的需求201820242国产卡怎么用？能否与NV卡一起使用？客户D我想跑大模型，需要多少资源？网络如何构建？多长时间能跑完？客户C我的模型跑起来耗时长，能加速吗？客户B我资源比较少，几十卡的规模，如何提升卡的利用率？客户A

引言

不同时期对智算平台的需求

2018

2024

2

国产卡怎么用？能否与NV卡一起使用？

客户D

我想跑大模型，需要多少资源？网络如何构建？多长时间能跑完？

客户C

我的模型跑起来耗时长，能加速吗？

客户B

我资