ETH-X互联报告 2024介绍.docx

[编号ODCC-2024-03007]

ETH-X互联报告

开放数据中心标准推进委员会

2024.09发布

ETH-X互联报告

版权声明

ODCC（开放数据中心委员会）发布的各项成果，受《著作权法》保护，编制单位共同享有著作权。

转载、摘编或利用其它方式使用ODCC成果中的文字或者观点的，应注明来源：“开放数据中心委员会ODCC”。

对于未经著作权人书面同意而实施的剽窃、复制、修改、销售、改编、汇编和翻译出版等侵权行为，ODCC及有关单位将追究其法律责任，感谢各单位的配合与支持。

I

ETH-X互联报告

编写组

项目经理：

张玓

北京快手科技有限公司

工作组长：

何泽坤

腾讯科技(深圳)有限公司

贡献专家：

崔鹏

腾讯科技(深圳)有限公司

孙敏

腾讯科技(深圳)有限公司

余曦

北京快手科技有限公司

王正斌

北京快手科技有限公司

戚宝侃

北京快手科技有限公司

陈琼南

东莞立讯技术有限公司

金龙

东莞立讯技术有限公司

罗振

东莞立讯技术有限公司

朱虎

武汉光迅科技股份有限公司

李庭宇

武汉光迅科技股份有限公司

王飚

武汉光迅科技股份有限公司

夏寅贲

腾讯科技(深圳)有限公司

孙聪

中国信息通信研究院

II

ETH-X互联报告

目录

版权声明 I

编写组 II

一、缩略语 1

二、ETH-X互联解决方案 1

（一）Scaleup的高密度高速率互联解决方案(ETHXLink) 3

1ETHXLink高速互联应用场景介绍 4

2ETHXLink柜内高速互联界面 8

3ETHXLink服务器节点高速互联界面 12

4ETHXLink交换节点高速互联介面 17

5ETHXLink机柜到机柜间高速互联界面 24

（二）Scaleout的高密度高速率互联解决方案(ROCE) 27

1Scaleout高速互联应用场景介绍 27

2Scaleout超节点高速互联界面 29

III

ETH-X互联报告

一、缩略语

下列缩略语适用于本文件。

表1缩略语

ACC

ActiveCopperCablepluggable

AEC

ActiveElectricalCablepluggable

Capex

Capitalexpenditure

DAC

DirectAttachCablepluggable

HBD

HighBandwidthDomain

Opex

Operatingexpense

OSFP

OctalsmallForm-Factorpluggable

QSFP112

QuadsmallForm-Factorpluggable112Gpbs

QSFP-DD

QuadsmallForm-Factorpluggable-DoubleDensity

RAR

Rightanglereceptacle.

二、ETH-X互联解决方案

AIGC从探索到实际生产力的快速演进，AIGC已经成为各个行业的重要战略；随着模型参数规模的快速增大，可支撑AIGC的相关基础设施技术快速迭代，业内也在不断涌现不同的构建新型算力单元及集群的方式，尽快对下一代基础设施算力能力的构建方式的探索和框架指定显得尤为重要。下一代的算力基础设施需要满足：可支持高性能超大规模模型对训练及推理性能的需求；从架构设计角度解锁因当前外部环境国内单卡算力和供应均受限的供应效率问题；足够的稳定性、以及解决高性能、高可用下对基础设施CaPex和Opex运行成本的追求。

Nvidia、Google和华为为代表的公司纷纷推出了超节点（SuperPod）的架构来应对更大模型参数对AI基础设施的挑战。其特点在于：HighBandwidthDomain-HBD，即通过NVLINK/HCCS等

1

ETH-X互联报告

私有协议实现一定卡数规模大带宽，内存一致性，更低时延的互连；以HBD为基础单元，通过基于RoCE的组网，实现更大规模的算力集群；结合高功率整机柜单元，通过铜缆替代AOC/光模块在柜内应用的方式，进一步降低延时，同时实现更低网络建设成本；

ETH-X项目旨在借鉴相关技术/架构的基础上，打造一个开放解耦的AI算力基础设施架构，核心特征是基于直出以太网的GPU打造下一代算力基础设施。其中ETH-X对互连的技术要求是满足：大带宽、低延时、灵活拆分并支持前向/后向兼容；充分考虑简化互连组件的微结构，降低互连成本；尽可能降低因链路稳定性带来的训练中断时间和多元化上游部件和芯片生