深度学习模型训练方法及装置.pdf

(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 CN 111461345 A (43)申请公布日 2020.07.28 (21)申请号 202010247381.9 (22)申请日 2020.03.31 (71)申请人 北京百度网讯科技有限公司 地址 100085 北京市海淀区上地十街10号 百度大厦2层 (72)发明人 李兴建　熊昊一　安昊哲　 (74)专利代理机构 北京同立钧成知识产权代理 有限公司 11205 代理人 张娜　刘芳 (51)Int.Cl. G06N 20/00(2019.01) G06K 9/62(2006.01) 权利要求书3页 说明书10页 附图3页 (54)发明名称 深度学习模型训练方法及装置 (57)摘要 本申请公开了一种深度学习模型训练方法 及装置，涉及人工智能领域。具体实现方案为：服 务器接收到终端设备发送的训练请求后，响应该 训练请求，对数据集中的样本进行m轮训练，训练 过程中，不断的更新数据集中各样本的软化标 签，从而得到新的数据集，进而利用该新的数据 集进行下一轮的训练。采用该种方案，通过同时 学习深度学习模型和软化标签，得到泛化能力强 的深度学习模型，实现提高深度学习模型准确度 的目的。 A 5 4 3 1 6 4 1 1 1 N C CN 111461345 A 权　利　要　求　书 1/3页 1.一种深度学习模型训练方法，其特征在于，包括： 接收终端设备发送的训练请求，所述训练请求用于请求训练人工智能深度学习模型； 根据所述训练请求，利用数据集中的样本对深度学习模型进行m轮训练，其中，所述m轮 训练中任意相邻的两轮训练中，后一轮训练的输入是利用前一轮训练的训练结果对所述数 据集中各样本的软化标签进行更新得到的，所述m≥2且为整数。 2.根据权利要求1所述的方法，其特征在于，所述m轮训练包括第x-1轮训练和第x轮训 练，所述根据所述训练请求，利用数据集中的样本对深度学习模型进行m轮训练，包括： 利用第x-1轮训练得到第x-1轮深度学习模型后，利用所述第x-1轮模型对所述数据集 中各样本的软化标签进行更新，得到第x-1数据集； 将所述第x-1数据集作为所述第x轮训练的输入，以执行第x-1轮训练。 3.根据权利要求2所述的方法，其特征在于，所述根据所述训练请求，利用数据集中的 样本对深度学习模型进行m轮训练，包括： 对于所述m轮中的第x轮训练，将所述第x-1数据集中的样本输入至所述第x-1轮深度学 习模型以训练得到第x轮深度学习模型； 利用所述深度学习模型对应的损失函数判断是否完成所述第x轮深度学习模型的训 练。 4.根据权利要求2所述的方法，其特征在于，所述根据所述训练请求，利用数据集中的 样本对深度学习模型进行m轮训练，包括： 执行所述m轮中的第x-1轮训练之前，判断所述数据集中每一类样本的软化标签的平均 值，以得到各类样本的软化标签； 根据各类样本的软化标签，确定至少两类样本中第一类样本的软化标签和第二类样本 的软化标签，所述第一类样本和所述第二类样本是同一种类的不同子类； 根据所述第一类样本的软化标签和所述第二类样本的软化标签，确定是否停止所述深 度学习模型训练。 5.根据权利要求4所述的方法，其特征在于，所述根据所述第一类样本的软化标签和所 述第二类样本的软化标签，确定是否停止所述深度学习模型训练，包括： 确定所述第一类样本的软化标签和所述第二类样本的软化标签之间的距离是否小于 预设阈值，若