从DeepSeek看大模型软硬件优化_戴国浩.docx

从DeepSeek看大模型软硬件优化

戴国浩

上海交通大学副教授无问芯穹联合创始人

缘起

模型架构~5页系统架构

模型架构~5页

系统架构~11页

Liu,Aixin,etal.Deepseek-v3technicalreport.arXivpreprintarXiv:2412.19437(2024).

后训练~8页

预训练~7页

Guohao

GuohaoDai@ShanghaiJiaoTongUniversityPage2

评价

——

——DeepSeek论文

什么是CUDA？什么是PTX？

Guohao

GuohaoDai@ShanghaiJiaoTongUniversityPage3

PTX和CUDA是什么

Triton

Triton

Language

Triton

TritonIR

CPUs

CPUs、加速器

LinalgTritonGPU

Linalg

TritonGPUIR

LLVM

LLVMIR

SYCLHSA

SYCL

HSA

PTX

PTX

IntelAMD

Intel

AMD

NVIDIA

NVIDIA

/compute/cuda/docs/CUDA_Architecture_Overview.pdf

Guohao

GuohaoDai@ShanghaiJiaoTongUniversityPage4

优化方向

底层优化

?算法、模型、硬件确定，优化软件

?例子：通信优化、内存优化

协同优化

?同时优化算法、模型、软件、甚至硬件

?例子：混合量化、MLA

Guohao

GuohaoDai@ShanghaiJiaoTongUniversityPage5

底层优化的重要性

C

C

-相对复杂

-需要关注硬件细节

Python

-简单直接-不需要关注硬件细节Pereira,Rui,etal.Energyefficiencyacrossprogramminglanguages:

-简单直接

-不需要关注硬件细节

relate?.Proceedingsofthe10thACMSIGPLANinternationalconferenceonsoftwarelanguageengineering.2017

Guohao

GuohaoDai@ShanghaiJiaoTongUniversityPage6

例子：底层优化

FlashAttention，对SRAM等底层硬件编程，广泛被应用。

Guohao

GuohaoDai@ShanghaiJiaoTongUniversityPage7

例子：底层优化

时间BK策略1：当N较小时提高切片数目计算并行度提高切片数量，使并行度能够填充满计算单元数目BK矩阵切片GPU利用率B

时间

BK

策略1：当N较小时提高切片数目

计算并行度

提高切片数量，使并行度能够填充满计算单元数目

BK

矩阵切片

GPU利用率

BN

B1

B’1

B2

B’2

B3

B’3

…

…

B

BN

B1

B’1

B2

B’2

B3

B’3

…

…

B

BK

K

策略2：当N较大时使用双缓冲技术

计算访存比

通过引入双缓冲技术掩盖访存延时

M{C1C2CB

M{

C1

C2

C

一-

B1

B’1

B2

B’2

B3

B’3

…

…

B

A1

A2

A3

…

A

N

C1〓A1·B1+A2·B2+A3·B3+…C2〓A1·B’