电子行业“AI的裂变时刻”系列报告3：为什么H20的推理性价比高？-240317-广发证券-14页.pdfVIP

[Table_Page]行业专题研究|电子

2024年3月17日

证券研究报告

[Table_Title]

“AI的裂变时刻”系列报告3

为什么H20的推理性价比高？

[Tabl

分析师：王亮分析师：耿正分析师：任思儒

e_Author]SAC执证号：S0260519060001SAC执证号：S0260520090002SAC执证号：S0260524030001

SFCCE.no:BFS478

021021021

gfwangliang@gengzheng@rensiru@

请注意，耿正,任思儒并非香港证券及期货事务监察委员会的注册持牌人，不可在香港从事受监管活动。

[Table_Summary]

核心观点：

⚫根据推算，H20推理性能超过H100，L20推理性能比肩L40S。NVIDIAH20和L20是NVIDIA为中国市场定

制的算力芯片产品，为满足美国出口管制条例要求，两款产品的核心算力参数均大幅阉割；如H20的FP16、

INT8等主要算力参数仅为A100的不足1/2，更是仅为H100的约1/7；L20的主要算力参数相较于L40、L40S

分别下降约1/3、2/3。较低的算力参数使得市场对两款产品的性能表现、性价比持悲观或怀疑态度。但是我们

根据理论推算，在多数推理场景下，H20的推理速度明显优于A100、甚至优于H100；取三组测试场景（单

GPU,Llama2-13B，BS16，FP16，ISL/OSL分别为128/3968、512/3584、2048/2048）平均值，H20推理

性能是A100的1.8倍、是H100的1.1倍。而L20在三组测试场景（单GPU,Llama2-7B，BS16，FP16，

ISL/OSL分别为128/3968、512/3584、2048/2048）中，推理性能也基本与L40S和L40持平。

⚫Prefill是算力密集场景，H20受算力制约性能表现较弱。Prefill阶段算力负载体现在对用户所有输入Tokens进

行一次并行计算；显存带宽负载主要体现在参数量从HBM向算力芯片的传输。在大多数推理场景下（如输入

Tokens较长、或BatchSize较大），Prefill阶段计算耗时高于显存传输的耗时，因此该环节的耗时（也被称为

Firsttokenlatency）通常是由算力芯片的算力能力决定，属于算力密集场景。由于H20的算力较弱，Prefill环

节耗时明显高于其他三款芯片。

⚫Decode是显存带宽密集场景，H20性能表现优异。在Decode过程中回答Tokens逐个生成，且每个Token

生成过程中，都需要重复