高斯MAC上的CEO问题编码性能分析及其在联邦学习中的应用.pdf

华中科技大学硕士学位论文

摘要

联邦学习(FederatedLearning)是下一代无线网络的热点研究方向：通过将模型

训练任务分布在多个边缘节点进行局部处理继而再予以聚合，可同时实现低时延、低

功耗以及数据隐私保护等诸多优点。然而，当边缘节点数较多时，从边缘节点到中心

节点的通信带宽就会成为系统的瓶颈。为了缓解这一问题，我们一方面可以增加中心

节点的天线数以利用信道的空间复用增益从而增加等效通信带宽(即总速率)；另一

方面，我们也可以进一步利用无线信道的叠加特性来实现所谓的空中计算(over-the-

aircomputation)以降低对通信带宽的需求。此二种方案哪种更优、是否存在比它们

更优的方案目前尚是开放性问题。

为了回答上述问题，我们提出将联邦学习中的模型聚合过程建模成多用户信息

论中的CEO问题(CentralEstimationOfficer或ChiefExectuiveOfficer，即多个节点

向中心节点报告各自对某个信源的局部观测，最后由中心节点完成对信源的估计或

重建)。但与经典的CEO问题中边缘节点与中心节点的传输链路彼此正交不同，在

联邦学习的场景中，由于无线信道介质的开放性，不同边缘节点与中心节点的链路之

间是相互干扰的，这对应于信息论中的高斯MAC信道(GaussianMultipleAccess

Channel)。因此我们首先需要建立CEO问题在高斯MAC信道下的相应信息论(率

失真函数)结果，我们重点分析了信源信道分离编码以及模拟传输(或无编码传输，

即空中计算)这种特殊的联合编码方案所对应的率失真函数，并对二者的性能在不同

参数(包括节点数、天线数、信噪比、相关系数等)设置下进行了对比，得到了模拟

传输在节点数较多、天线数较少、信噪比不太高时相对占优、反之对方占优的结论。

这为实际系统设计中的参数选择以及优化提供了有效的指导。

为了进一步提高传输性能，我们提出将分离编码(即数字传输)方案与无编码

(即模拟传输)方案予以结合的混合数模(HybridDigital-Analog,HDA)传输方案，该

方案可兼顾数字传输与模拟传输二者的优点。基于该方案，我们给出了一种新颖的联

邦学习通信策略，仿真结果表明：对于CIFAR-10数据集上的分类任务，该策略与

I

华中科技大学硕士学位论文

传统的分离数字传输或模拟传输相比，能实现更高的精度，需要的通信开销更小，也

更加接近集中式处理的性能。

关键词：CEO问题；多址接入信道；编码策略；联邦学习

II

华中科技大学硕士学位论文

Abstract

FederatedLearning(FL)isahotresearchdirectionofnextgenerationwirelessnetwork.

Bydistributingmodeltrainingtasksacrossmultipleedgenodesforlocalprocessingand

subsequentaggregation,FLcanachievemanyadvantagessuchaslowlatency,lowpower

consumption,anddataprivacyprotection.However,whentherearealargenumberofedge

nodes,thecommunicationbandwidthfromtheedgenodestothecentralnodebec