一种模型迁移训练方法、装置、设备及存储介质.pdf

(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 CN 111444958 A (43)申请公布日 2020.07.24 (21)申请号 202010219449.2 (22)申请日 2020.03.25 (71)申请人 北京百度网讯科技有限公司 地址 100085 北京市海淀区上地十街10号 百度大厦2层 (72)发明人 卢阳　 (74)专利代理机构 北京品源专利代理有限公司 11332 代理人 孟金喆 (51)Int.Cl. G06K 9/62(2006.01) G06N 20/00(2019.01) 权利要求书2页 说明书11页 附图4页 (54)发明名称 一种模型迁移训练方法、装置、设备及存储 介质 (57)摘要 本申请公开了一种模型迁移训练方法、装 置、设备及存储介质，涉及人工智能领域。具体实 现方案为：将源模型中至少两个迁移层的网络参 数作为目标模型中关联的迁移层的初始参数；根 据所述至少两个迁移层关联的训练参数与所述 初始参数之间的距离，构建目标函数；基于所述 目标函数，对包括有初始参数的目标模型进行训 练。本申请实施例通过在构建目标函数时，引入 迁移层的训练参数与初始参数之间的距离，从而 在模型训练过程中，兼顾各迁移层的模型迁移和 训练情况，实现了对源模型的信息的继承以及目 A 标模型的自适应，避免了模型迁移训练过程中的 8 过拟合现象，提高了目标模型的泛化能力。 5 9 4 4 4 1 1 1 N C CN 111444958 A 权　利　要　求　书 1/2页 1.一种模型迁移训练方法，其特征在于，包括： 将源模型中至少两个迁移层的网络参数作为目标模型中关联的迁移层的初始参数； 根据所述至少两个迁移层关联的训练参数与所述初始参数之间的距离，构建目标函 数； 基于所述目标函数，对包括有初始参数的目标模型进行训练。 2.根据权利要求1所述的方法，其特征在于，根据所述至少两个迁移层关联的训练参数 与所述初始参数之间的距离，构建目标函数，包括： 根据所述至少两个迁移层的权重，以及所述至少两个迁移层关联的训练参数与所述初 始参数之间的距离，构建目标函数。 3.根据权利要求2所述的方法，其特征在于，根据所述至少两个迁移层的权重，以及所 述至少两个迁移层关联的训练参数与所述初始参数之间的距离，构建目标函数之前，还包 括： 根据所述迁移层在模型中的网络层级信息，确定所述迁移层的权重。 4.根据权利要求3所述的方法，其特征在于，根据所述迁移层在模型中的网络层级信 息，确定所述迁移层的权重，包括： 确定所述迁移层所属网络块的序号； 根据所述迁移层所属网络块的序号，确定所述迁移层的权重。 5.根据权利要求4所述的方法，其特征在于，根据所述迁移层所属网络块的序号，确定 所述迁移层的权重，包括： 基于权重函数，根据所述迁移层所属网络块的序号，确定所述迁移层的权重；其中，所 述权重函数为所述网络块的序号的递减函数。 6.根据权利要求2所述的方法，其特征在于，根据所述至少两个迁移层的权重，以及所 述至少两个迁移层关联的训练参数与所述初始参数之间的距离，构建目标函数，包括： 根据各所述迁移层的训练参数与所述初始参数之间距离的加权和，确定迁移层的规则 化项； 根据所述迁移层的规则化项和损失函数，构建所述目标函数。 7.根据权利要求6所述的方法，其特征在于，根据所述迁移层的规则化项和损失函数， 构建所述目标函数，包括：