面向大模型训练推理的AI芯片算力架构演进与性能优化关键技术.docxVIP

面向大模型训练推理的AI芯片算力架构演进与性能优化关键技术

目录

文档概要．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．2

大模型训练推理需求分析．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．2

2.1对算力的需求分析．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．2

2.2对性能的需求分析．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．4

AI芯片算力架构演进概述．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．8

3.1传统AI芯片架构回顾．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．8

3.2当前主流架构特点．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．9

面向大模型训练推理的AI芯片设计原则．．．．．．．．．．．．．．．．．．．．．11

4.1可扩展性与灵活性．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．12

4.2能效比优化．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．13

4.3计算精度与精度管理．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．16

关键算