CN119849482A 一种基于大模型微调的中文语法纠错方法、系统 （昆明理工大学）.docxVIP

(19)国家知识产权局

(12)发明专利申请

(10)申请公布号CN119849482A

(43)申请公布日2025.04.18

(21)申请号202411964598.6

(22)申请日2024.12.30

(71)申请人昆明理工大学

地址650039云南省昆明市一二一大街文

昌路68号

(72)发明人李英李哲刘枵王丹余正涛杨晶婷

(74)专利代理机构昆明隆合知识产权代理事务所(普通合伙)53220

专利代理师何娇

(51)Int.Cl.

G06F40/253(2020.01)

G06F40/216(2020.01)

G06F40/279(2020.01)

G06F18/22(2023.01)

G06N20/00(2019.01)

权利要求书2页说明书7页附图1页

(54)发明名称

一种基于大模型微调的中文语法纠错方法、

系统

(57)摘要

CN119849482A本发明涉及一种基于大模型微调的中文语法纠错方法、系统。该方法使用Qwen2_7B模型生成纠错指令数据集；依据复杂度、质量和多样性对指令数据集进行筛选；采用LORA方法对Qwen2_7B模型进行监督式微调，重点优化自注意力层和前馈网络层，以增强模型对长距离依赖和上下文信息的处理能力；然后使用Qwen2_72B模型对纠错数据集进行评分，