CN113011603B 模型参数更新方法、装置、设备、存储介质及程序产品 （深圳前海微众银行股份有限公司）.docxVIP

(19)国家知识产权局

(12)发明专利

(10)授权公告号CN113011603B(45)授权公告日2025.01.10

(21)申请号202110287041.3

(22)申请日2021.03.17

(65)同一申请的已公布的文献号申请公布号CN113011603A

(43)申请公布日2021.06.22

(73)专利权人深圳前海微众银行股份有限公司地址518000广东省深圳市前海深港合作

区前湾一路1号A栋201室(入驻深圳市前海商务秘书有限公司)

(72)发明人梁新乐刘洋陈天健

(74)专利代理机构深圳市世纪恒程知识产权代理事务所44287

专利代理师张志江

(51)Int.CI.

GO6N20/00(2019.01)

GO6N3/098(2023.01)

(56)对比文件

XinleLiang等.Self-supervisedCross-siloFederatedNeuralArchitecture

Search.arXiv:2101.11896v2.2021,摘要，第I-VI节.

审查员田子茹

权利要求书3页说明书17页附图3页

(54)发明名称

模型参数更新方法、装置、设备、存储介质及程序产品

(57)摘要

CN113011603B本发明公开了一种模型参数更新方法、装置、设备、存储介质及程序产品，所述方法包括：计算近端优化损失，其中，所述近端优化损失表征所述第一设备中第一模型的参数在本轮本地迭代中的参数值相比于在预设历史轮次的本地迭代中参数值的变化量；基于所述近端优化损失、所述第一模型在本轮本地迭代中的模型输出以及从所述第二设备接收到的纵向联邦中间结果，计算得到所述参数对应的梯度值；采用所述梯度值更新所述参数，以完成本轮本地迭代。本

CN113011603B

计算近端优化损失，其中，近端优化损失表征第一设备中第一模型的参数在本轮本地选代中的参数值相比于在预设历史轮次的本地迭代中参数值的变化量

基于近璃优化损失、第一模型在本轮本地迭代中的模型输出以及从第二设备接收到的纵向联邦中间结果，计算得到参数对应的梯度值

采用梯度值更新参数，以完成本轮本地迭代

S10

S20

CN113011603B权利要求书1/3页

2

1.一种模型参数更新方法，其特征在于，所述方法应用于参与纵向联邦学习的第一设备，所述第一设备与参与纵向联邦学习的第二设备通信连接，所述方法包括以下步骤：

将所述第一设备中第一模型的参数在本轮本地迭代中的参数向量与在预设历史轮次的本地迭代中的参数向量进行对应元素相减，得到差向量；

计算所述差向量中各元素的平方和或所述平方和的平方根，基于所述平方和或所述平方和的平方根，得到近端优化损失；

基于所述近端优化损失、所述第一模型在本轮本地迭代中的模型输出以及从所述第二设备接收到的纵向联邦中间结果，计算得到所述参数对应的梯度值，当所述第一设备为拥有标签数据的参与方时，所述纵向联邦中间结果为所述第二设备中模型的输出，

所述基于所述近端优化损失、所述第一模型在本轮本地迭代中的模型输出以及从所述第二设备接收到的纵向联邦中间结果，计算得到所述参数对应的梯度值的步骤包括：

将所述第一设备的训练数据输入所述第一设备中的第一模型进行处理，得到所述第一模型在本轮本地迭代中的模型输出；

根据所述模型输出和所述纵向联邦中间结果计算得到预测结果，并基于所述预测结果和所述训练数据对应的标签数据计算得到预测损失；

将所述预测损失和所述近端优化损失相加得到总损失，基于所述总损失计算得到所述参数对应的梯度值；

采用所述梯度值更新所述参数，以完成本轮本地迭代。

2.如权利要求1所述的模型参数更新方法，其特征在于，当所述第二设备为拥有标签数据的参与方时，所述纵向联邦中间结果为所述第二设备中预测损失相对于所述第一设备在本轮联合参数更新时发送的第一模型的输出的梯度值，

所述基于所述近端优化损失、所述第一模型在本轮本地迭代中的模型输出以及从所述第二设备接收到的纵向联邦中间结果，计算得到所述参数对应的梯度值的步骤包括：

将所述第一设备的训练数据输入所述第一设备的第一模型进行处理，得到所述第一模型在本轮本地迭代中的模型输出；

根据所述模型输出和所述纵向联邦中间结果计算得到所述预测损失相对于所述参数的第一子梯度值；

计算所述近端优化损失相对于所述参数的第二子梯度值，将所述第一子