原创力文档- 1、本文档共27页，可阅读全部内容。
- 2、原创力文档（book118）网站文档一经付费（服务费），不意味着购买了该文档的版权，仅供个人/单位学习、研究之用，不得用于商业用途，未经授权，严禁复制、发行、汇编、翻译或者网络传播等，侵权必究。
- 3、本站所有内容均由合作方或网友上传，本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺！文档内容仅供研究参考，付费前请自行鉴别。如您付费，意味着您自己接受本站规则且自行承担风险，本站不退款、不进行额外附加服务；查看《如何避免下载的几个坑》。如果您已付费下载过本站文档，您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等，请点击“版权申诉”（推荐），也可以打举报电话：400-050-0827(电话支持时间：9:00-18:30)。
查看更多
j百度智能云
大模型场景下智算平
台的设计与优化实践
肖松
2024.06.14
引言j百度智能云
不同时期对智算平台的需求
201
8
客户A我资源比较少，几十卡的规模，如何提升卡的利用率？
客户B我的模型跑起来耗时长，能加速吗？
客户C我想跑大模型，需要多少资源？网络如何构建？多长时间能跑完？
客户D国产卡怎么用？能否与NV卡一起使用？
202
4
2
j百度智能云
目录
01大模型时代，智算平台新特点4
02智算平台需解决的问题6
03大模型场景技术实践8
04对于智算平台发展的未来思考25
j百度智能云
01大模型时代，智算平台新特
点
小模型vs.大模型
大模型时代，智算平台新特j百度智能云
点
小模型vs.大模型
ResNet50（小模型）GPT-4（大模型）工程问题
158秒$1555天$2150万增强：耗时长凸显大模型训推加速需求
新增：成本高带来稳定性需求，减少资源闲
训练时长训练成训练时长训练成本
置
本
参数25M（0.025B）参数1800B增强：参数爆炸突破显存墙，多机多卡成为常
vs.
动点策划通过提供各行各业经典策划案例，策划思路，行业最新动态，旨在做好你的助手，为你正在谋划的事情提供框架思路或创作灵感。
文档评论（0）