6G网络面向大模型的分布式学习白皮书.docx

文档密级

文档密级

6G网络面向大模型的分布式学习白皮书

6G网络面向大模型的分布式学习白皮书

Foundation

FoundationModel-Oriented

6GNetworkDistributedLearningWhitepaper

2111第1页,共24页

文档名称文档密级

2024-11-19第2页,共24页

目录

摘要 3

1关于6G智能普惠的断言 4

1.1AGI服务将在6G时代普及 4

1.2大模型提供智能服务的成本接近于零 4

1.3每个人都将拥有自己的大模型 5

1.4网络传输内容将从数据转向模型 5

2面向大模型的MFD分布式学习模式 7

2.1联邦学习模式的挑战 7

2.2MFD分布式学习模式 8

2.3模型在网络内像IP包一样传输 11

2.4模型可以自由缩放 13

2.5支持异构模型间的知识分享 15

2.6特轻量化自组织的学习流程 17

3MFD应用示例 19

3.1Net4LM的智能协作机器人 19

3.2LM4Net站间协同 21

4总结和展望 22

5参考文献 23

2024-11-19第3页,共24页

摘要

6G愿景是实现智能普惠，支持将AI服务随时、随地的提供给每个人，这将驱动6G网络成为一个分布式AI计算平台。而到6G时代，端边云都将部署不同尺寸的大模型，

大模型无处不在，端边云节点之间交互的主要内容将从数据转为模型，由此，本文提出一种新的面向大模型的、去中心化的、原生支持无线网络边缘异构动态环境的MFD

（ModelFollowData）分布式学习模式，旨在让模型在靠近数据的地方进行训练和推理，避免大量数据传输带来的传输能耗和隐私问题，同时可以充分利用6G网络的分布式AI算力。针对联邦学习存在依赖可信中心节点、通信开销大和异构支持性差等问题，MFD将神经网络模型构建为通信数据包，使得模型在网络中能够像数据包一样传输，并且可以自由缩放，实现异构模型间高效的知识分享和轻量化自组织的学习流程。可以预测，MFD将成为6G网络的原生分布式学习模式，支撑AGI服务的普及。

2024-11-19第4页,共24页

1关于6G智能普惠的断言

1.1AGI服务将在6G时代普及

大模型（Foundationmodel）技术的快速崛起并已取得了非凡的成功。而大模型技术还将会持续快速演进，以GPT为例，从2020年的GPT3到2023年的GPT4，再到未来的GPT8乃至更高版本，大模型的尺寸不断增加，并且可以达到令人印象深刻的智力水平；而StarGate项目旨在推动人工智能研究和开发的界限，并提出到2028年实现人工通用智能（AGI）的目标。基于这样的趋势，我们预测基于AGI的智能服务将在6G时代普及。

图1通用人工智能（AGI）发展进程

1.2大模型提供智能服务的成本接近于零

规模理论（ScalingLaw）是大模型背后的核心逻辑，从目前看也是通往AGI最为可行的路径。而从经济价值上看，大模型可以通过模型缩放来生成或产生几乎免费的满足用户需求的各