电子行业“AI的裂变时刻”系列报告9：对国产推理算力芯片厂商的启示，假如L40S使用HBM显存？.docxVIP

图表索引

图1：不同推理场景下配备HBM的L40S的推理性能 6

图2：配备不同HBM的L40S的推理性能对比 6

图3：自注意力机制计算过程示意图 7

图4：GPU推理性能与BatchSize的关系 9

图5：模型推理所需显存容量与BatchSize的关系 10

图6：KVCache所需显存容量与上下文长度的关系 11

图7：模型推理所需显存带宽与BatchSize的关系 12

图8：L40S单卡推理1stTokenLatency基于框架推算结果VSNVIDIA公布测试结果 13

图9：MI300X与H100推理性能计算结果对比（根据框架计算） 14

图10：MI300X与H100推理性能测试结果对比（AMD官网披露） 14

图11：H200与H100推理性能计算结果对比（根据框架计算） 15

图12：H200与H100推理性能测试结果对比（NVIDIA官网披露） 15

表1：NVIDIAL40S主要参数 5

表2：NVIDIA几款主要训推一体卡显存方案 5

表3：L40S及4款假设产品的算力、显存参数 6

表4：3个推理场景中Decode阶段计算时间、显存读取时间及算力利用率 7

表5：使用不同HBM的L40S在Decode阶段计算时间、显存读取时间及算力利用率 8

表6：使用不同HBM的L40S可支持的最大推理BatchSize 10

表7：使用不同HBM的L40S可支持的最大推理BatchSize 11

前言

AIGC大时代序幕开启，国产推理算力芯片厂商迎来历史机遇；但基于大语言模型的AIGC行业需要什么样的推理算力芯片、如何设计更有性价比的推理产品？

我们在此前已发表报告《“AI的裂变时刻”系列报告3：为什么H20的推理性价比高？》中基于理论推算框架分析发现，显存性能对于GPU推理性能影响较大。为了进一步研究高带宽、大容量HBM对于算力芯片推理性能的影响，我们在本报告假设了如下

产品：L40S算力参数不变，使用HBM替代GDDR作为显存方案；并基于理论推算框架推算假设产品的推理性能。结果显示使用HBM后推理性能获得大幅提升。这对于国产推理算力芯片厂商产品定义与设计带来启示：使用更高带宽、更大容量的HBM对于提升产品推理性能起到事半功倍的效果。

一、若使用HBM显存方案，L40S推理性能提升明显

根据英伟达官网，L40S是英伟达2023年发布的一款GPU产品，其功能定位为推理应用场景。其FP16/FP8算力分别为362/733TFLOPS；在显存方案上，该芯片并未使用HBM，而是使用了48GBGDDR6，显存带宽为864GB/s。

表1：NVIDIAL40S主要参数

GPU架构 NVIDIAAdaLovelaceArchitecture

显存 48GBGDDR6

显存带宽 864GB/s

FP16TensorCore算力 362TFLOPS

FP8TensorCore算力 733TFLOPS

数据来源：NVIDIA官网，

目前英伟达主流的训推一体卡均使用了HBM方案，且每一次产品迭代通常都伴随

HBM代次、显存容量、显存带宽的提升。

表2：NVIDIA几款主要训推一体卡显存方案

A100

H100

H200

B200

发布时间

2020年

2022年

2023年

2024年

HBM代次

2E

3

3E

3E

显存带宽（GB/s）

2039

3352

4800

8000

显存容量（GB）

80

80

141

192

数据来源：NVIDIA官网，

我们在本报告中假设的产品如下：L40S算力参数不变（算力参数参考表1），分别使用A100/H100/H200/B200的HBM替代GDDR作为显存方案；产品分别命名为

L40S+A100的HBM、L40S+H100的HBM、L40S+H200的HBM、L40S+B200的HBM。

L40SL40S+A100的HBML40S+H100的HBML40S+H200的HBML40S+B200的HBMFP16TensorCore

L40S

L40S+A100的HBM

L40S+H100的HBM

L40S+H200的HBM

L40S+B200的HBM

FP16TensorCore算力

362TFLOPS

FP8TensorCore算力

733TFLOPS

显存类型

GDDR

HBM2E

HBM3

HBM3E

HBM3E

显存带宽（GB/s）

864

2039

3352

4800