面向边缘计算的高效联邦学习算法研究.pdf

摘要

随着人工智能的不断发展，智能终端设备的数量也在持续增长，在智能终端设备上

产生的数据量更是爆发式增加，这种情景导致云计算中心的负载越来越大，同时云计算

模式也很难满足用户对低时间延迟、低能量消耗以及高数据隐私安全性等方面的需求。

因此将计算中心下沉到更接近用户和数据的边缘层，在边缘层处理终端设备海量数据的

边缘计算模式受到了广泛重视。另一方面，联邦学习作为一种新型的分布式机器学习，

用户先在本地完成相关计算，然后在不进行共享本地数据的情况下协同其它用户共同完

成全局模型的训练。从联邦学习的提出和实现来看，联邦学习与边缘计算的关系是十分

密切的，边缘计算为联邦学习创造了有利的发展条件，联邦学习在边缘层中的应用也促

进了边缘计算的发展。面向边缘计算展开对联邦学习算法的研究具有重要的研究价值。

本文以边缘计算为背景，以提升在边缘计算环境中联邦学习的效率以及提升联邦学习的

模型性能为目标，从联邦学习客户端的选择方式和联邦学习模型的训练方式两个角度分

别设计了优化方法，主要研究工作如下：

（1）针对边缘计算环境中部署联邦学习时由于客户端资源异质性导致联邦学习模

型性能低下等问题，本文设计了基于客户端选择的联邦学习机制。该方法综合考虑了在

边缘计算环境下客户端的计算资源、通信资源以及数据资源等。在联邦学习的学习轮次

中设置相应的时间阈值，并依据客户端的资源状态使得在每轮给定的时间阈值内，边缘

服务器能够选取尽可能多的客户端，同时避免资源不足的客户端参与到联邦学习训练。

通过保证参与联邦学习过程中的客户端的质量，在一定程度上降低了联邦学习的训练成

本同时提升了联邦学习的训练效率。

（2）针对传统边缘联邦学习算法局限于使用硬标签知识训练模型难以进一步提升

模型准确率的问题，本文设计了基于知识蒸馏的边缘联邦学习机制。该方法在联邦学习

的模型训练过程中引进了知识蒸馏技术，首先客户端在训练本地模型的同时也生成相应

的样本逻辑值，然后边缘服务器将接收从客户端上传的本地模型参数以及样本逻辑值，

并聚合生成全局模型和全局软标签，最后将全局模型和全局软标签一起发送给客户端进

行下一轮的联邦学习，使得客户端在进行本地训练时也能得到全局软标签知识的指导。

通过这种方式拓展了传统联邦学习算法中只能从样本硬标签获取知识训练模型的单一

I

渠道，使得在联邦学习模型训练的过程中，也能够利用软标签中所涵盖的知识，进而能

够有效的提升联邦学习训练模型的性能。

关键词：边缘计算，联邦学习，客户端选择，软标签，知识蒸馏

II

ABSTRACT

Withthecontinuousdevelopmentofartificialintelligence,thenumberofintelligentterminaldevices

alsocontinuestogrow,andtheamountofdatageneratedonintelligentterminaldevicesisalsoincreasing

explosively.Underthisscenario,theloadofcloudcomputingcenterwillbecomelargerandlarger.

Meanwhile,thecloudcomputingmodelisdifficulttomeetusersdemandsforlowtimedelay,lowenergy

consumptionandhighdataprivacysecurity.Therefore,thecomputingcentersinksto