CN119538981A 领域大语言模型微调训练方法、装置、电子设备及介质 （北京中科闻歌科技股份有限公司）.docxVIP

(19)国家知识产权局

(12)发明专利申请

(10)申请公布号CN119538981A

(43)申请公布日2025.02.28

(21)申请号202411627791.0

(22)申请日2024.11.14

(71)申请人北京中科闻歌科技股份有限公司

地址100083北京市海淀区北四环西路9号

楼7层717室

(72)发明人李庆晓徐楠董垚李军锋曹家罗引王磊

(74)专利代理机构北京开阳星知识产权代理有限公司11710

专利代理师陈洁

(51)Int.Cl.

G06N3/045(2023.01)

G06N3/048(2023.01)

G06N3/047(2023.01)

G06N3/082(2023.01)

G06N3/084(2023.01)

权利要求书2页说明书13页附图2页

(54)发明名称

领域大语言模型微调训练方法、装置、电子

设备及介质

(57)摘要

CN119538981A本公开涉及一种领域大语言模型微调训练方法、装置、电子设备及介质；方法包括：在微调训练阶段，获取多个领域任务的原始指令数据，构建单项选择任务数据集，单项选择任务数据集包括多个领域任务的多条单项选择任务数据，对单项选择任务数据集中的原始指令题目进行数据扰动操作，识别各个领域任务的关键注意力头，获取关键注意力头索引