2024全球架构师峰会-大模型场景下智算平台的设计与优化实践.pdfVIP

大模型场景下智算平

AI与大模型的盛行，带来的不是单点和局部的变化，而是从底层算力、基础设施、软件开发、数据架构到顶层应用的全面变革。

在这其中，架构师扮演着重要的角色，基于专业的架构知识和设计决策，架构师们将承担起新时代下的技术选型、架构设计和优化等职责。同时，由于技术发展迅速，架构师的技术知识容易过时，一旦错过某次技术革命，团队就可能对其工作价值产生质疑。如何迅速适应新的技术变革，同时将大模型技术与企业业务需求、团队能力、成本平衡等一系列要素相融合，成为架构师们现如今面临的艰巨挑战。

台的设计与优化实践

肖松

2024.06.14

目录

01大模型时代，智算平台新特点4

02智算平台需解决的问题6

AI与大模型的盛行，带来的不是单点和局部的变化，而是从底层算力、基础设施、软件开发、数据架构到顶层应用的全面变革。

在这其中，架构师扮演着重要的角色，基于专业的架构知识和设计决策，架构师们将承担起新时代下的技术选型、架构设计和优化等职责。同时，由于技术发展迅速，架构师的技术知识容易过时，一旦错过某次技术革命，团队就可能对其工作价值产生质疑。如何迅速适应新的技术变革，同时将大模型技术与企业业务需求、团队能力、成本平衡等一系列要素相融合，成为架构师们现如今面临的艰巨挑战。

03大模型场景技术实践8

04对于智算平台发展的未来思考25

01大模型时代，智算平台新特点

AI与大模型的盛行，带来的不是单点和局部的变化，而是从底层算力、基础设施、软件开发、数据架构到顶层应用的全面变革。

在这其中，架构师扮演着重要的角色，基于专业的架构知识和设计决策，架构师们将承担起新时代下的技术选型、架构设计和优化等职责。同时，由于技术发展迅速，架构师的技术知识容易过时，一旦错过某次技术革命，团队就可能对其工作价值产生质疑。如何迅速适应新的技术变革，同时将大模型技术与企业业务需求、团队能力、成本平衡等一系列要素相融合，成为架构师们现如今面临的艰巨挑战。

小模型vs.大模型

大模型时代，智算平台新特点

小模型vs.大模型

ResNet50（小模型）GPT-4（大模型）工程问题

158秒$1555天$2150万增强：耗时长凸显大模型训推加速需求

新增：成本高带来稳定性需求，减少资源闲置

训练时长训练成本