NVIDIA 面向大语言模型的全栈 AI 解决方案.docx

NVIDIA面向大语言模型的全栈AI解

决方案

王淼，NVIDIA解决方案架构与工程总监

大语言模型生态系统

快速演进导致优化异常挑战

?新的基础大语言模型的发布在提速

?新的算子和定制技术使得优化成为持续变化的目标

?为了最好的精度模型规模继续增加

?从dense到MOE的转变趋势已经形成

需要全栈AI解决方案助力模型开发和应用部署

LLaMa

LLaMaGPTFalconStarcoderChatGLMMPT…

ImagefromMooler0410/LLMsPracticalGuide

Yang,J.,Jin,H.,Tang,R.,Han,X.,Feng,Q.,Jiang,H.,…Hu,X.(2023).HarnessingthePowerofLLMsinPractice:ASurveyonChatGPTandBeyond.arXiv[Cs.CL].Retrievedfrom/abs/2304.13712

大语言模型基础设施

FP32

FP16

BF16

FP8

(E5M2)

FP8

(E4M3)

FP8

相较于FP16/BF162倍的吞吐

signmultiplyaccumulateintoFP32orFP16TCFP8matrixSMRangePrecisionexponent

sign

multiply

accumulateintoFP32orFP16

TC

FP8matrix

SM

RangePrecision

exponentmantissa

e8m23

s

e5m10

s

e8m7

sDD——

e5m2

s—D——

e4m3

sDD——

FP8matrix

bias/act/…

convert

FP32|FP16|BF16|FP8matrix

Allocate1bittoeither

Allocate1bittoeitherrangeorprecision

TransformerEngine

FP8混合精度训练

GEMM采用FP8

每tensor缩放映射输入到FP8累积和输出是FP16/BF16

其它操作仍在高精度参数更新

Softmax

LayerNorm

FP8TensorBF16Tensor

TransformerEngine

算子融合

混合精度训练

TransformerEngine的recipe是什么？

?Delayedscalingstrategy.TheFP8operatorusesscalingfactorobtainedusingthehistoryofamaxes(maximumsofabsolute

values)seeninsomenumberofpreviousiterationsandproducesboththeFP8outputandthecurrentamax,whichgetsstoredinthehistory

?This(transformer_mon.recipe.DelayedScaling)isthecommonAPIamongframeworks,includingPyTorch,TensorFlowandJax

FP8的收敛性证明

Pre-trained

?LLaMA27B

?Dataset:Pile300B

?Tokenizer:LLaMA2,vocab_size=31200

?Hyperparameter:GBS2048_SEQ4096_MBS2_TP2_PP1_DP128

FP8的下游任务证明

Continued-trained

?NextLLM8B(byNVIDIA)

?Dataset:Pile300B

?Tokenizer:GPT-2BPE,vocab_size=50257

?Hyperparameter:GBS1024_SEQ4096_MBS4_TP4_PP1_DP32

HellaSwagWinoGrande

HellaSwag

WinoGrande

数