6G网络面向大模型的分布式学习白皮书.docx

目录

摘要 3

关于6G智能普惠的断言 4

AGI服务将在6G时代普及 4

大模型提供智能服务的成本接近于零 4

每个人都将拥有自己的大模型 5

网络传输内容将从数据转向模型 5

面向大模型的MFD分布式学习模式 7

联邦学习模式的挑战 7

MFD分布式学习模式 8

模型在网络内像IP包一样传输 11

模型可以自由缩放 13

支持异构模型间的知识分享 15

特轻量化自组织的学习流程 17

MFD应用示例 19

Net4LM的智能协作机器人 19

LM4Net站间协同 21

总结和展望 22

参考文献 23

摘要

6G愿景是实现智能普惠，支持将AI服务随时、随地的提供给每个人，这将驱动6G网络成为一个分布式AI计算平台。而到6G时代，端边云都将部署不同尺寸的大模型，大模型无处不在，端边云节点之间交互的主要内容将从数据转为模型，由此，本文提出一种新的面向大模型的、去中心化的、原生支持无线网络边缘异构动态环境的MFD

（ModelFollowData）分布式学习模式，旨在让模型在靠近数据的地方进行训练和推理，避免大量数据传输带来的传输能耗和隐私问题，同时可以充分利用6G网络的分布式AI算力。针对联邦学习存在依赖可信中心节点、通信开销大和异构支持性差等问题，MFD将神经网络模型构建为通信数据包，使得模型在网络中能够像数据包一样传输，并且可以自由缩放，实现异构模型间高效的知识分享和轻量化自组织的学习流程。可以预测，MFD将成为6G网络的原生分布式学习模式，支撑AGI服务的普及。

关于6G智能普惠的断言

AGI服务将在6G时代普及

大模型（Foundationmodel）技术的快速崛起并已取得了非凡的成功。而大模型技术还将会持续快速演进，以GPT为例，从2020年的GPT3到2023年的GPT4，再到未来的GPT8乃至更高版本，大模型的尺寸不断增加，并且可以达到令人印象深刻的智力水平；而StarGate项目旨在推动人工智能研究和开发的界限，并提出到2028年实现人工通用智能（AGI）的目标。基于这样的趋势，我们预测基于AGI的智能服务将在6G时代普及。

图1通用人工智能（AGI）发展进程

大模型提供智能服务的成本接近于零

规模理论（ScalingLaw）是大模型背后的核心逻辑，从目前看也是通往AGI最为可行的路径。而从经济价值上看，大模型可以通过模型缩放来生成或产生几乎免费的满足用户需求的各类智能服务，而无需手工制作。以OpenAI提供的GPT系列服务为例，其收费持续下降，近期推出的GPT3.5Turbo替代产品GPT-4omini，收费大幅下降到百万token输入/输出15美分/60美分，比GPT3.5Turbo便宜超过60%以上，而对比GPT-4o

的收费更是便宜了近97%，甚至一些公司已开始推出了免费的大模型服务。而随着大模型参数共享、权重剪枝、压缩与蒸馏、硬件加速、分布式训练/推理等相关技术的发展和突破，基础大模型在推理速度和效率将不断提升，并且随着大模型的普及和规模效应，也使得单次服务的边际成本下降，到6G时代，大模型的智能服务成本将接近于零。

每个人都将拥有自己的大模型

目前大模型通常部署在云端，用户通过互联网访问各种智能服务。这种完全在数据中心集中部署的方式往往意味着巨量的算力，及随之带来惊人的能耗，如Stargate项目预期需要百万级AI芯片，数十亿瓦的功率来运行。而随着移动终端和在网算力能力的极大提升，已可以将大模型分布式部署在终端和网络中，一方面是数据安全和用户隐私保护的提升；另一方面，分布式部署也有助于解决大模型的所有权问题，如部署在终端的大模型个性化增量更新过程中，不可避免的涉及用户拥有的个性化数据，由此，用户将不可避免的倾向于获得更新后的大模型所有权。

网络传输内容将从数据转向模型

从大模型的规模理论来看，模型性能与计算量、模型参数量和训练数据量之间存在正相关的关系。这也导致模型的参数量在不断增加，从百亿到千亿甚至万亿。相应的，用来训练大模型的数据量，也需要以指数级暴增。据网络公开的数据，以OpenAI为例，从GPT-1到GPT-3，其训练数据集就从4.5GB指数级增长到了570GB，以此类推，那GPT-5、GPT-6需要的训练数据更是天文数字。

图2大模型性能与参数量和数据量之间的关系

构建AGI大模型，数据将成为首要障碍。二十几年来互联网积累的海量数据可以说为此次AI浪潮兴起奠定了坚实基础，而人工智能研究和预测组织Epoch在其发表的论文里预测，现有的高质量的文本数据会在2027年消耗殆尽，未来的大模型进一步演进甚至实现A