CN119539011A 基于教师模型与情境推理的模型蒸馏方法及系统 （复旦大学）.docxVIP

(19)国家知识产权局

(12)发明专利申请

(10)申请公布号CN119539011A

(43)申请公布日2025.02.28

(21)申请号202510080881.0

(22)申请日2025.01.20

(71)申请人复旦大学

地址200433上海市杨浦区邯郸路220号

(72)发明人王龑张文强刘靖刘洋李奥星常扬甘中学

(74)专利代理机构苏州中合知识产权代理事务所(普通合伙)32266

专利代理师景晓玲

(51)Int.Cl.

G06N3/082(2023.01)

G06N3/045(2023.01)

G06N3/042(2023.01)

G06N5/04(2023.01)

权利要求书3页说明书17页附图12页

(54)发明名称

基于教师模型与情境推理的模型蒸馏方法

及系统

(57)摘要

CN119539011A本发明涉及自然语言处理技术领域，特别是涉及一种基于教师模型与情境推理的模型蒸馏方法及系统。通过使用多教师学习框架，使学生模型能够从多个大型教师模型中汲取知识，为学生模型提供多元化的学习路径；由于引入了上下文感知与示例生成机制，通过考虑输入数据的上下文信息和输入示例，增强了学生模型对复杂情境的理解和推理能力；推理链策略可以确保学生模型能够生成准确且有深度的推理过程，模仿教师模型的决