CN120235216A 大模型动态知识蒸馏方法及系统 （小哆智能科技(北京)有限公司）.docxVIP

(19)国家知识产权局

(12)发明专利申请

(10)申请公布号CN120235216A(43)申请公布日2025.07.01

(21)申请号202510726044.0

(22)申请日2025.06.03

(71)申请人小哆智能科技(北京)有限公司

地址100094北京市海淀区西北旺东路10

号院东区23号楼三层346室

(72)发明人刘晓玉余国军

(74)专利代理机构北京睿博行远知识产权代理有限公司11297

专利代理师赵敏

(51)Int.CI.

GO6N3/096(2023.01)

GO6N3/042(2023.01)

GO6N3/084(2023.01)

GO6N3/045(2023.01)

权利要求书2页说明书8页附图2页

(54)发明名称

大模型动态知识蒸馏方法及系统

(57)摘要

CN120235216A本发明实施例提供一种大模型动态知识蒸馏方法及系统，属于大模型动态知识蒸馏领域；该方法包括获取问答对数据集，使用所述学生模型对所述训练输入问答对进行编码，生成第一软标签；执行蒸馏，再次使用所述学生模型对所述训练输入问答对进行编码，生成第二软标签；计算所述学生模型的预测不确定值和区分能力；动态调整蒸馏强度权重和蒸馏温度值；迭代执行训练所述学生模型的过程，直至所述学生模型的性能指标达到预设阈值，完成动态知识蒸馏。本发明通过动态调节蒸馏参数，提高了模型输出稳定，降低了模糊样本的噪声，并且在解读类任务

CN120235216A

获取政务领域问答对数据集，随机采集所述问答对数

获取政务领域问答对数据集，随机采集所述问答对数据集中的输入问答对，并将所述输入问答对划分为训

练输入问答对和微调输入问答对

加载预训练语言模型作为学生模型，并使用所述学生

模型对所述训练输入问答对进行编码，生成第一软标

签

执行蒸馏，再次使用所述学生模型对所述训练输入问答对进行编码，生成第二软标签

根据所述第一软标签与所述第二软标签，计算所述学生模型的预测不确定性和区分能力

根据所述预测不确定性和所述区分能力，动态调整蒸馏强度权重和蒸馏温度值

迭代执行训练所述学生模型的过程，直至所述学生模型的性能指标达到预设阈值，完成动态知识蒸馏

S100

S200

S300

S400

S600

CN120235216A权利要求书1/2页

2

1.一种大模型动态知识蒸馏方法，其特征在于，包括：

获取领域问答对数据集，随机采集所述问答对数据集中的输入问答对，并将所述输入问答对划分为训练输入问答对和微调输入问答对；

加载预训练语言模型作为学生模型，并使用所述学生模型对所述训练输入问答对进行编码，生成第一软标签；

执行蒸馏，再次使用所述学生模型对所述训练输入问答对进行编码，生成第二软标签；

根据所述第一软标签与所述第二软标签，计算所述学生模型的预测不确定值和区分能力；

根据所述预测不确定值和所述区分能力，动态调整蒸馏强度权重和蒸馏温度值；

迭代执行训练所述学生模型的过程，直至所述学生模型的性能指标达到预设阈值，完成动态知识蒸馏。

2.根据权利要求1所述的大模型动态知识蒸馏方法，其特征在于，所述计算所述学生模型的预测不确定值和区分能力包括：

将所述训练输入问答对输入学生模型进行预测，生成每个可能的输出类别的概率分布，该概率分布为当前轮的第二软标签；

通过概率方差量化所述第二软标签的离散性，得到预测不确定值；

设置第一方差阈值，若预测不确定值小于等于第一方差阈值，则判定当前所述学生模型的预测不确定值低；若预测不确定值大于第一方差阈值，则判定当前所述学生模型的预测不确定值高。

3.根据权利要求2所述的大模型动态知识蒸馏方法，其特征在于，所述计算所述学生模型的预测不确定值和区分能力还包括：

调取所述第一软标签，通过相对熵量化所述第一软标签与第二软标签的分布差异，得到区分能力值；

设置第一区分能力阈值，若区分能力值小于等于第一区分能力阈值，则判定当前所述学生模型区分能力强，若区分能力值大于第一区分能力阈值，则判定当前所述学生模型区分能力弱。

4.根据权利要求3所述的大模型动态知识蒸馏方法，其特征在于，所述根据所述预测不确定值和所述区分能力，动态调整蒸馏强度权重和蒸馏温度值，包括：

若当前所述学生模型的预测不确定值低，则增大蒸馏强度权重，若当前所述学生模型的预测不确定值高，则减小蒸馏强度权重；

若当前所述学