CN114078195B 分类模型的训练方法、超参数的搜索方法以及装置 （华为技术有限公司）.docxVIP

(19)国家知识产权局

(12)发明专利

(10)授权公告号CN114078195B(45)授权公告日2025.07.01

(21)申请号202010787442.0

(22)申请日2020.08.07

(65)同一申请的已公布的文献号申请公布号CN114078195A

(43)申请公布日2022.02.22

(73)专利权人华为技术有限公司

地址518129广东省深圳市龙岗区坂田华

为总部办公楼

(72)发明人周彧聪钟钊

(74)专利代理机构北京龙双利达知识产权代理有限公司11329

专利代理师王龙华王君

(51)Int.CI.

GO6V10/764(2022.01)

GO6V10/82(2022.01)

GO6N3/0464(2023.01)

GO6N3/084(2023.01)

GO6N3/0985(2023.01)

(56)对比文件

NaverAILab.ADAMP:SLOWINGDOWNTHESLOWDOWNFORMOMENTUMOPTIMIZERSON

SCALE-INVARIANTWEIGHTS.ICLR.2020,第1页-第27页.

HaoLi.RETHINKINGTHEHYPERPARAMETERS

FORFINE-TUNING.ICLR.2024,第1页-第20页.审查员程剑华

权利要求书4页说明书25页附图5页

(54)发明名称

分类模型的训练方法、超参数的搜索方法以

及装置

(57)摘要

CN114078195B本申请涉及人工智能技术领域公开了一种分类模型的训练方法、超参数的搜索方法以及装置，训练方法包括获取待训练分类模型的目标超参数，所述目标超参数用于控制所述待训练分类模型的梯度更新步长，所述待训练分类模型包括缩放不变性线性层，所述缩放不变性线性层使得所述待训练分类模型的权重参数乘以任意缩放系数时输出的预测分类结果保持不变；根据所述目标超参数与目标训练方式对所述待训练分类模型的权重参数进行更新，得到训练后的分类模型，所述目标训练方式使得所述待训练分类模型更新前与更新后的权重参数的模长相同。基于本

CN114078195B

500

获取待训练分类模型的目标超参数，所述目标超参数用于控制待

训练分类模型的梯度更新步长，所述待训练分类模型包括缩放不

变线性层，所述缩放线性不变性线性层使得所述待分类模型的权

重乘以任意缩放系数时输出的预测分类结果保持不变

根据所述目标超参数与目标训练方式对所述待训练分类模型的权重参数进行更新，得到训练后的分类模型，所述目标训练方式使得所述待训练分类模型更新前与更新后的权重参数的模长相同

S510

S520

CN114078195B权利要求书1/4页

2

1.一种分类模型的训练方法，其特征在于，包括：

获取待训练分类模型的目标超参数，所述目标超参数为等效学习率，所述目标超参数用于控制所述待训练分类模型的梯度更新步长，所述待训练分类模型包括缩放不变性线性层，所述缩放不变性线性层使得所述待训练分类模型的权重参数乘以任意缩放系数时输出的预测分类结果保持不变；

根据所述目标超参数与目标训练方式对所述待训练分类模型的权重参数进行更新，得到训练后的分类模型，所述目标训练方式使得所述待训练分类模型更新前与更新后的权重参数的模长相同。

2.如权利要求1所述的训练方法，其特征在于，所述训练后的分类模型的权重参数是根据所述目标超参数和所述目标训练方式通过反向传播算法多次迭代更新得到的。

3.如权利要求1或2所述的训练方法，其特征在于，所述缩放不变性线性层根据以下公式得到所述预测分类结果：

其中，Y表示第i次迭代更新的权重参数对应的预测分类结果；W表示所述第i次迭代更新的权重参数；X表示待分类特征；S表示尺度常数。

4.如权利要求1或2所述的训练方法，其特征在于，所述目标训练方式包括：

通过以下公式对所述更新后的权重参数进行处理，使得所述待训练分类模型更新前与更新后的权重参数的模长相同：

其中，W:+1表示第i+1次迭代更新的权重参数；W表示第i次迭代更新的权重参数；Norm。表示所述待训练分类模型的初始权重模长。

5.一种超参数的搜索方法，其特征在于，包括：

获取目标超参数的候选值，所述目标超参数为等效学习率，所述目标超参数用于控制待训练分类模型的梯度更新步长，所述待训练分类模型包括缩放不变性线性层，所述缩放不变性线性