大模型的异构计算和加速-戴金权.docxVIP

1大语言模型的异构计算和加速戴金权(JasonDai)英特尔院士

1

大语言模型的异构计算和加速

戴金权(JasonDai)

英特尔院士

自回归大语言模型(基于Transformer解码器架构）自回归大语言模型：预测下一个tokenTransformer解码器架构3

自回归大语言模型(基于Transformer解码器架构）

自回归大语言模型：预测下一个token

Transformer解码器架构

3

Transformer解码器架构训练;推理(第一个token/Prefill)4

Transformer解码器架构

训练;推理(第一个token/Prefill)

4

Transformer解码器架构推理(下一个token/Decode)5

Transformer解码器架构

推理(下一个token/Decode)

5

大语言模型推理和训练瓶颈内存带宽计算显存大小分布式计算(互联)6

大语言模型推理和训练瓶颈

内存带宽

计算

显存大小

分布式计算(互联)

6

大模型的异构计算和加速XPU异构计算CPU,GPU,NPU硬件加速服务器客户端边缘端（

大模型的异构计算和加速

XPU异构计算

CPU,GPU,NPU硬件加速

服务器

客户端

边缘端

（IntelXeon+IntelArcGPUs）

（IntelCoreUltraAIPC）

（Inte