CN114037089B 一种面向异质场景的异步联邦学习方法、装置及存储介质 （中山大学）.docxVIP

(19)国家知识产权局

(12)发明专利

(10)授权公告号CN114037089B(45)授权公告日2025.07.01

(21)申请号202111250303.5

(22)申请日2021.10.26

(65)同一申请的已公布的文献号申请公布号CN114037089A

(43)申请公布日2022.02.11

(73)专利权人中山大学

地址510275广东省广州市海珠区新港西

路135号

(72)发明人由林麟刘晟蔡铭章圣律郭子晗周檬贺俊姝

(74)专利代理机构广州嘉权专利商标事务所有限公司44205

专利代理师梁嘉琦

(51)Int.CI.

GO6N20/20(2019.01)

(56)对比文件

CN113191484A,2021.07.30CN113518007A,2021.10.19审查员郝羽娜

权利要求书2页说明书10页附图3页

(54)发明名称

一种面向异质场景的异步联邦学习方法、装置及存储介质

(57)摘要

CN114037089B本发明公开了一种面向异质场景的异步联邦学习方法、装置及存储介质，方法包括：从候选客户端中确定目标客户端，其中，所述目标客户端的自相关熵高于所述候选客户端中其他客户端；对所述目标客户端进行训练，得到目标参数，并将所述目标参数上传至服务器；所述服务器根据所述目标参数对模型聚合的过程进行聚合增强处理，得到第一联邦模型；对所述第一联邦模型进行策略集成处理，得到第二联邦模型；对所述第二联邦模型进行模型评估，确定目标联邦模

CN114037089B

从候选客户端中确定目标客户端，其中，所述目标客户端的自

从候选客户端中确定目标客户端，其中，所述目标客户端的自相关熵高于所述候选客户端中其他客户端

对所述目标客户端进行训练，得到目标参数，并将所述目标参数上传至服务器

所述服务器根据所述目标参数对模型聚合的过程进行聚合增强处理，得到第一联邦模型

对所述第一联邦模型进行策略集成处理，得到第二联邦模型

对所述第二联邦模型进行模型评估，确定目标联邦模型

CN114037089B权利要求书1/2页

2

1.一种面向异质场景的异步联邦学习方法，其特征在于，包括：

从候选客户端中确定目标客户端，其中，所述目标客户端的自相关熵高于所述候选客户端中其他客户端；

对所述目标客户端进行训练，得到目标参数，并将所述目标参数上传至服务器；

所述服务器根据所述目标参数对模型聚合的过程进行聚合增强处理，得到第一联邦模型；

对所述第一联邦模型进行策略集成处理，得到第二联邦模型；

对所述第二联邦模型进行模型评估，确定目标联邦模型；

所述服务器根据所述目标参数对模型聚合的过程进行聚合增强处理，得到第一联邦模型，包括：

所述服务器根据多周期分层更新策略，将通信划分为若干个周期；

对模型聚合过程中的深度神经网络的浅层和深层的更新频率进行优化；

根据所述若干个周期和优化后的更新频率，根据所述目标参数进行模型聚合，得到第一联邦模型；

其中，所述多周期分层更新策略，用于将M轮通信分为个周期，所述深度神经网络的深层在最后的m轮学习中更新，所述深度神经网络的浅层在所有的M轮学习中更新。

2.根据权利要求1所述的一种面向异质场景的异步联邦学习方法，其特征在于，所述从候选客户端中确定目标客户端，包括：

从所述候选客户端中的每个客户端获取感知数据；

根据每个客户端中获取到的感知数据，计算每个客户端的自相关熵；

根据每个客户端的自相关熵和信息性客户端激活策略，从所述候选客户端中选取自相关熵最高的客户端作为所述目标客户端。

3.根据权利要求2所述的一种面向异质场景的异步联邦学习方法，其特征在于，对所述目标客户端进行训练，得到目标参数，并将所述目标参数上传至服务器，包括：

所述目标客户端获取当前全局模型和本地数据进行训练，得到目标参数；

所述目标客户端将所述目标参数发送至所述服务器；

所述服务器轮询等待接收客户端发送的目标参数。

4.根据权利要求1所述的一种面向异质场景的异步联邦学习方法，其特征在于，所述对所述第一联邦模型进行策略集成处理，得到第二联邦模型，包括：

根据信息性客户端激活策略、多周期分层更新策略、时间权重衰减策略以及信息权重增强策略对所述第一联邦模型进行策略集成处理，得到第二联邦模型；

其中，所述信息性客户端激活策略，用于利用自相关熵和数据量大小计算激活指数，选取激活指数高的部分客户端进行本轮训练