2025AI大模型跨域训练池化调度技术体系白皮书-92页.pdfVIP

2025AI大模型跨域训练池化调度技术体系白皮书-92页.pdf

  1. 1、原创力文档(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。。
  2. 2、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载
  3. 3、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
  4. 4、该文档为VIP文档,如果想要下载,成为VIP会员后,下载免费。
  5. 5、成为VIP后,下载本文档将扣除1次下载权益。下载后,不支持退款、换文档。如有疑问请联系我们
  6. 6、成为VIP后,您将拥有八大权益,权益包括:VIP文档下载权益、阅读免打扰、文档格式转换、高级专利检索、专属身份标志、高级客服、多端互通、版权登记。
  7. 7、VIP文档为合作方或网友上传,每下载1次, 网站将根据用户上传文档的质量评分、类型等,对文档贡献者给予高额补贴、流量扶持。如果你也想贡献VIP文档。上传文档
查看更多

未来网络技术发展系列白皮书(2025)

AI大模型跨域训练池化调度

技术体系白皮书

第九届未来网络发展大会组委会

2025年8月

编写说明

主要编写单位:

紫金山实验室、江苏省未来网络研究院

主要编写人员:

周俊、孙远、刘准、张晨、高新平、杨彩云、孙婵娟、王春生、肖玉

明、梁木

特别鸣谢:

新华三、天数智芯、浪潮信息、中兴通讯、中国电信

前言

AI大模型的跨域训练是全球范围关注的前沿技术方向,它是指

将多个不同的智算中心组合在一起训练同一个AI大模型。为什么需

要跨域训练?业界通常的认知在于,当大模型未来发展到万亿、十万

亿参数规模时,根据ScalingLaw需要用到万卡甚至十万卡才能完成

其预训练过程,这样的体量规模如果集中到一个集群内部,在技术、

能源、配套等方面都存在着严峻的挑战,因此需要通过网络连接多个

集群并加以组合,以共同训练同一个万亿/十万亿的大模型。

实际上自OpenAI发布GPT-4后,业界就一直在围绕下一代GPT

的需求进行跨域训练的探索。这样的认知与实践自然无可厚非,它更

多地关注于通用大模型的发展问题,是一种“少数人的游戏”。

DeepSeek发布V3/R1后,通用大模型不可逆地走上了开源路线,原

有牌桌上“少数人”中的大部分又被迫离场,目前已变成了“几个玩

家的游戏”。

一个令人焦虑的问题是,虽然打牌的人越来越少,但牌桌却无法

自动缩小反而仍在不断扩大,这于我国而言是十分明显的。根据国家

数据局最新数据,我国算力总规模已排在全球第二位,但由于诸多方

面的原因,我国的高端智能算力领域却同时面临着“少、杂、散”的

客观困境。破局点在哪?让我们重回2023年底《关于深入实施“东

数西算”工程加快构建全国一体化算力网的实施意见》(简称意见),

意见在基本原则中明确指出“充分发掘重点行业算力需求,盘活存量

I

算力资源”,“探索异属异构异地的算力资源并网调度技术方案和商业

模式”,其中即蕴含了破局之道。

DeepSeek开源后,虽然通用大模型的玩家廖然无几,但却极大

地带动了行业的算力需求,企业不仅可使用“DeepSeek+知识库”进

行推理,还可以基于“DeepSeek+数据集”通过后训练培养出自身专

属专用的“企业大模型”。与通用大模型“广而杂”不同,“企业大模

型”需要的是“专而精”,百亿级参数通常足够日常生产使用,一次

后训练的算力需求大多在几十卡的规模,卡的型号并不追求高端顶尖,

出于成本考虑这些企业通常也不会为后训练自建集群,通过租用算力

会更经济实惠。与通用大模型预训练“开一单、吃三年”的“算力房

地产”模式不同,企业大模型后训练更适合薄利多销、细水长流的“算

力网调度”模式,在全国一体化算力网的服务能力加持下,千行百业

按需消纳“异属异构异地”的存量算力资源,把“少数人的游戏”变

回“一群人的生态”。

《AI大模型跨域训练池化调度-技术体系白皮书》(简称白皮书)

的编制,是基于未来网络团队多年来在AI大模型跨域训练与算力网

调度方面结合实践的创新成果。与业界面向于通用大模型在“同属、

同构/异构、同城/异地”资

文档评论(0)

yirui2 + 关注
实名认证
文档贡献者

该用户很懒,什么也没介绍

1亿VIP精品文档

相关文档