CN115481748B 一种基于数字孪生辅助的联邦学习新鲜度优化方法与系统 （广东工业大学）.docxVIP

(19)国家知识产权局

(12)发明专利

(10)授权公告号CN115481748B(45)授权公告日2025.07.04

(21)申请号202211051083.8

(22)申请日2022.08.30

(65)同一申请的已公布的文献号申请公布号CN115481748A

(43)申请公布日2022.12.16

(73)专利权人广东工业大学

地址510090广东省广州市越秀区东风东

路729号

(72)发明人蒋丽谢正昊缪家辉赖健鑫

李嘉柱

(74)专利代理机构广州粤高专利商标代理有限

公司44102专利代理师刘俊

(51)Int.CI.

GO6N20/00(2019.01)

HO4L41/0896(2022.01)

HO4L41/142(2022.01)

HO4L41/16(2022.01)

HO4L67/12(2022.01)

(56)对比文件

CN113419857A,2021.09.21

US2018176663A1,2018.06.21审查员王音

权利要求书5页说明书13页附图3页

(54)发明名称

一种基于数字孪生辅助的联邦学习新鲜度优化方法与系统

(57)摘要

CN115481748B本发明公开了一种基于数字孪生辅助的联邦学习新鲜度优化方法与系统，涉及工业物联网的技术领域，包括构建工业物联网联邦学习模型，计算所有智能设备的数字孪生体进行一轮联邦学习的能耗、本地数据新鲜度和模型参数新鲜度；以能耗和新鲜度之和最小化为目标，建立联合带宽分配、数据收集频率和数据计算频率的优化问题，并转化为马尔科夫决策过程，定义状态空间、动作空间和回报函数；建立深度强化学习网络并进行训练，利用训练好的深度强化学习网络进行资源调度，获得最优调度策略，应用到对应的智能设备。本发明有效减少联邦学习的时

CN115481748B

构建工业物联网联邦学习模型，所述模型包括一个中心服务器和

构建工业物联网联邦学习模型，所述模型包括一个中心服务器和若干个智能设备,并生成每个智能设备对应的数字李生体，保存在中心服务器

根据工业物联网联邦学习模型，计算所有智能设备的数字孪生体进行一轮联邦学习的能耗、本地数据新鲜度和模型参数新鲜度

以所有智能设备的数字李生体进行一轮联邦学习的能耗、本地数据新鲜度和模型

参数新鲜度之和最小化为目标，建立联合带宽分配、数据收集频率和数据计算频

率的优化问题：

将所述优化问题转化为马尔科夫决策过程，定义工业物联网联邦学习模型的状态空间、动作空间和回报函数

基于近端策略优化算法建立深度强化学习网络，利用状态空间、动作空间和回报函数对深度强化学习网络进行训练，获得训练好的深度强化学习网络

利用训练好的深度强化学习网络进行资源调度，获得最优调度策略，即每个智能设备的数字孪生体分配的最优带宽、最优数据收集频率和最优数据计算频率

将每个智能设备的数字孪生体分配的最优带宽、最优数据收集频率和最优数据计算频率应用到对应的智能设备

S1

S2

53

56

CN115481748B权利要求书1/5页

2

1.一种基于数字孪生辅助的联邦学习新鲜度优化方法，其特征在于，包括：

S1:构建工业物联网联邦学习模型，所述模型包括一个中心服务器和若干个智能设备，并生成每个智能设备对应的数字孪生体，保存在中心服务器中；

S2:根据工业物联网联邦学习模型，计算所有智能设备的数字孪生体进行一轮联邦学习的能耗、本地数据新鲜度和模型参数新鲜度；

S3:以所有智能设备的数字孪生体进行一轮联邦学习的能耗、本地数据新鲜度和模型参数新鲜度之和最小化为目标，建立联合带宽分配、数据收集频率和数据计算频率的优化问题；

S4:将所述优化问题转化为马尔科夫决策过程，定义工业物联网联邦学习模型的状态空间、动作空间和回报函数；

S5:基于近端策略优化算法建立深度强化学习网络，利用状态空间、动作空间和回报函数对深度强化学习网络进行训练，获得训练好的深度强化学习网络；

S6:利用训练好的深度强化学习网络进行资源调度，获得最优调度策略，即每个智能设备的数字孪生体分配的最优带宽、最优数据收集频率和最优数据计算频率；

S7:将每个智能设备的数字孪生体分配的最优带宽、最优数据收集频率和最优数据计算频率应用到对应的智能设备。

2.根据权利要求1所述的基于数字孪生辅助