2024全球架构师峰会-腾讯AngelPTM大模型训练框架优化与实践支撑混元大模型训练的训练框架.pdfVIP

腾讯AngelPTM大模型训练框架优化与实践

支撑混元大模型训练的训练框架

空白演示

AI与大模型的盛行，带来的不是单点和局部的变化，而是从底层算力、基础设施、软件开发、数据架构到顶层应用的全面变革。

在这其中，架构师扮演着重要的角色，基于专业的架构知识和设计决策，架构师们将承担起新时代下的技术选型、架构设计和优化等职责。同时，由于技术发展迅速，架构师的技术知识容易过时，一旦错过某次技术革命，团队就可能对其工作价值产生质疑。如何迅速适应新的技术变革，同时将大模型技术与企业业务需求、团队能力、成本平衡等一系列要素相融合，成为架构师们现如今面临的艰巨挑战。

Loremipsumdolorsitamet,consecteturadipisicingelit.

薛金宝

2024.6

AI与大模型的盛行，带来的不是单点和局部的变化，而是从底层算力、基础设施、软件开发、数据架构到顶层应用的全面变革。

在这其中，架构师扮演着重要的角色，基于专业的架构知识和设计决策，架构师们将承担起新时代下的技术选型、架构设计和优化等职责。同时，由于技术发展迅速，架构师的技术知识容易过时，一旦错过某次技术革命，团队就可能对其工作价值产生质疑。如何迅速适应新的技术变革，同时将大模型技术与企业业务需求、团队能力、成本平衡等一系列要素相融合，成为架构师们现如今面临的艰巨挑战。

1大模型发展趋势和训练面临的挑战

3

大模型成为人工智能发展的重要方向

模型参数规模

指数级增长

AI与大模型的盛行，带来的不是单点和局部的变化，而是从底层算力、基础设施、软件开发、数据架构到顶层应用的全面变革。

在这其中，架构师扮演着重要的角色，基于专业的架构知识和设计决策，架构师们将承担起新时代下的技术选型、架构设计和优化等职责。同时，由于技术发展迅速，架构师的技术知识容易过时，一旦错过某次技术革命，团队就可能对其工作价值产生质疑。如何迅速适应新的技术变革，同时将大模型技术与企业业务需求、团队能力、成本平衡等一系列要素相融合，成为架构师们现如今面临的艰巨挑战。

•生成式大模型突飞猛进，5年时间，模型参数规模增长100万倍，达到万亿量级

•ScalingLaw[1]：数据越多、模型越大，模型学习能力越强，模型效果越好

[1]OpenAI“ScalingLawsforNeuralLanguageModels”,/abs/2001.08361,2020

大模型发展趋势-模态变化

AI与大模型的盛行，带来的不是单点和局部的变化，而是从底层算力、基础设施、软件开发、数据架构到顶层应用的全面变革。

在这其中，架构师扮演着重要的角色，基于专业的架构知识和设计决策，架构师们将承担起新时代下的技术选型、架构设计和优化等职责。同时，由于技术发展迅速，架构师的技术知识容易过时，一旦错过某次技术革命，团队就可能对其工作价值产生质疑。如何迅速适应新的技术变革，同时将大模型技术与企业业务需求、团队能力、成本平衡等一系列要素相融合，成为架构师们现如今面临的艰巨挑战。

文生文文生图文生视频多模态全模态