- 1、原创力文档(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。。
- 2、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载。
- 3、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
- 4、该文档为VIP文档,如果想要下载,成为VIP会员后,下载免费。
- 5、成为VIP后,下载本文档将扣除1次下载权益。下载后,不支持退款、换文档。如有疑问请联系我们。
- 6、成为VIP后,您将拥有八大权益,权益包括:VIP文档下载权益、阅读免打扰、文档格式转换、高级专利检索、专属身份标志、高级客服、多端互通、版权登记。
- 7、VIP文档为合作方或网友上传,每下载1次, 网站将根据用户上传文档的质量评分、类型等,对文档贡献者给予高额补贴、流量扶持。如果你也想贡献VIP文档。上传文档
未来网络技术发展系列白皮书(2025)
AI大模型跨域训练池化调度
技术体系白皮书
第九届未来网络发展大会组委会
2025年8月
编写说明
主要编写单位:
紫金山实验室、江苏省未来网络研究院
主要编写人员:
周俊、孙远、刘准、张晨、高新平、杨彩云、孙婵娟、王春生、肖玉
明、梁木
特别鸣谢:
新华三、天数智芯、浪潮信息、中兴通讯、中国电信
前言
AI大模型的跨域训练是全球范围关注的前沿技术方向,它是指
将多个不同的智算中心组合在一起训练同一个AI大模型。为什么需
要跨域训练?业界通常的认知在于,当大模型未来发展到万亿、十万
亿参数规模时,根据ScalingLaw需要用到万卡甚至十万卡才能完成
其预训练过程,这样的体量规模如果集中到一个集群内部,在技术、
能源、配套等方面都存在着严峻的挑战,因此需要通过网络连接多个
集群并加以组合,以共同训练同一个万亿/十万亿的大模型。
实际上自OpenAI发布GPT-4后,业界就一直在围绕下一代GPT
的需求进行跨域训练的探索。这样的认知与实践自然无可厚非,它更
多地关注于通用大模型的发展问题,是一种“少数人的游戏”。
DeepSeek发布V3/R1后,通用大模型不可逆地走上了开源路线,原
有牌桌上“少数人”中的大部分又被迫离场,目前已变成了“几个玩
家的游戏”。
一个令人焦虑的问题是,虽然打牌的人越来越少,但牌桌却无法
自动缩小反而仍在不断扩大,这于我国而言是十分明显的。根据国家
数据局最新数据,我国算力总规模已排在全球第二位,但由于诸多方
面的原因,我国的高端智能算力领域却同时面临着“少、杂、散”的
客观困境。破局点在哪?让我们重回2023年底《关于深入实施“东
数西算”工程加快构建全国一体化算力网的实施意见》(简称意见),
意见在基本原则中明确指出“充分发掘重点行业算力需求,盘活存量
I
算力资源”,“探索异属异构异地的算力资源并网调度技术方案和商业
模式”,其中即蕴含了破局之道。
DeepSeek开源后,虽然通用大模型的玩家廖然无几,但却极大
地带动了行业的算力需求,企业不仅可使用“DeepSeek+知识库”进
行推理,还可以基于“DeepSeek+数据集”通过后训练培养出自身专
属专用的“企业大模型”。与通用大模型“广而杂”不同,“企业大模
型”需要的是“专而精”,百亿级参数通常足够日常生产使用,一次
后训练的算力需求大多在几十卡的规模,卡的型号并不追求高端顶尖,
出于成本考虑这些企业通常也不会为后训练自建集群,通过租用算力
会更经济实惠。与通用大模型预训练“开一单、吃三年”的“算力房
地产”模式不同,企业大模型后训练更适合薄利多销、细水长流的“算
力网调度”模式,在全国一体化算力网的服务能力加持下,千行百业
按需消纳“异属异构异地”的存量算力资源,把“少数人的游戏”变
回“一群人的生态”。
《AI大模型跨域训练池化调度-技术体系白皮书》(简称白皮书)
的编制,是基于未来网络团队多年来在AI大模型跨域训练与算力网
调度方面结合实践的创新成果。与业界面向于通用大模型在“同属、
同构/异构、同城/异地”资
文档评论(0)