2024基于标准PCIe接口的人工智能加速卡液冷设计白皮书.pdfVIP

基于标准PCIe接口的人工智

能加速卡液冷设计

白皮书

（2024年1月）

目次

前言III

1概述1

2发展趋势1

3术语1

4缩略语2

5总体描述2

5.1冷板式人工智能服务器组成2

5.2冷板式人工智能加速卡组成3

6技术方案3

6.1设计要求3

6.2外观要求4

6.3结构要求4

6.4热性能要求6

6.5可靠性要求7

参考文献9

II

OCTCBA01—2024

基于标准PCIe接口的人工智能加速卡液冷设计指南

1概述

冷板式人工智能加速卡在结构设计、流体快插接头、热性能设计等方面无统一设计要求，服务器针

对不同厂商的冷板式人工智能加速卡需要进行结构和散热适配，耗费大量人力、物力。本技术白皮书主

要制定标准PCIe接口形态的冷板式人工智能加速卡在结构设计、冷板设计、流体快插接头选型、热性能

设计、可靠性设计方面的要求，用于指导冷板式人工智能加速卡的设计。通过本白皮书提供的设计指导，

降低服务器和冷板式人工智能加速卡之间的适配难度，降低适配的成本和人力投入。同时降低部署和运

维难度，方便终端客户根据业务场景灵活选择相应产品，加速液冷式人工智能加速卡和服务器产品上市。

此外，通过统一的设计指导，在冷板本体、流体快插接头等关键组件上产生规模化效益，获取低成本液

冷解决方案，推动冷板式液冷技术的普及。

2发展趋势

以AIGC为代表的人工智能大模型的发展，带来了算力需求的指数式提升。AI芯片需要通过提升工

作频率或增加运算单元来获得更强的算力，带来人工智能加速卡功耗的不断提升。当前人工智能加速卡

单卡功耗已达到350W至600W量级，带来服务器散热功耗的显著提升，在给服务器散热设计带来挑战的

同时，也给建设绿色数据中心带来了很大的挑战。液冷技术成为解决人工智能服务器高功耗散热问题、

降低数据中心PUE的关键，其中冷板式液冷技术是当前解决人工智能加速卡高功耗问题的主流方案。目

前标准PCIe接口形态的人工智能加速卡仍然是业界主流，国内外部分厂商已经推出了相应的冷板式人工

智能加速卡，但均是按照自身产品形态特征进行设计，未考虑同行业其他厂商情况，不能作为标准化设

计。

同时，虽然冷板式液冷散热技术在CPU、内存、扣板式人工智能加速卡上已经取得了成功应用，但

在标准PCIe接口形态的人工智能加速卡上的应用仍然很少，业界迫切需要一个针对标准PCIe接口形态人

工智能加速卡的液冷设计指导，来推动冷板式散热技术在人工智能加速卡应用的普及。

3术语

3.1

冷板式液冷coldplateliquidcooling

通过冷板（通常为铜铝等导热金属构成的封闭腔体）将发热器件的热量间接传递给封闭在循环管路

中的冷却液体，通过冷却液体将热量带走的一种实现形式。

3.2

冷板式人工智能加速卡coldplateliquidcoolingartificialintelligenceacceleratorcard

专为人工智能应用设计，通过冷板进行散热的硬件加速器,可用于提升机器学习和深度学习的速度

和性能,从而更好地满足人工智能应用的需求。

3.3

冷板式人工智能服务器coldplateliquidcoolingartificialintelligenceserver

1

OCTCBA01—2024

配备了冷板式人工智能加速卡的服务器，可为人工智能应用提供高效能计算处理能力。

3.4

机柜冷却工质供回歧管rackcoolantmanifold

用于向机柜内各液冷冷板分配冷却工质的装置。

3.5

流体快插接头hydraulicquickdiscon