CN119443182B 一种基于因果关系感知的大语言模型微调方法及装置 （山东浪潮科学研究院有限公司）.docxVIP

(19)国家知识产权局

(12)发明专利

(10)授权公告号CN119443182B(45)授权公告日2025.07.08

(21)申请号202510025727.3

(22)申请日2025.01.08

(65)同一申请的已公布的文献号申请公布号CN119443182A

(43)申请公布日2025.02.14

(73)专利权人山东浪潮科学研究院有限公司地址250000山东省济南市高新区浪潮路

1036号SO2号楼

(72)发明人杨彤李雪姜凯

(74)专利代理机构济南信达专利事务所有限公司37100

专利代理师孙晶伟

(51)Int.CI.

GO6N3/08(2023.01)

GO6N3/045(2023.01)

GO6N5/025(2023.01)

GO6N5/04(2023.01)

GO6F16/3329(2025.01)

GO6F40/211(2020.01)

GO6F40/284(2020.01)

GO6F40/295(2020.01)

GO6F40/58(2020.01)

GO6F18/213(2023.01)

G06F123/02(2023.01)

(56)对比文件

CN118916447A,2024.11.08

CN118862904A,2024.10.29

唐雪梅等.“基于预训练语言模型的繁体古文自动句读研究”.《中文信息学报》.2023,第37卷(第8期),第159-168页.

审查员张谷静

权利要求书3页说明书7页附图1页

(54)发明名称

一种基于因果关系感知的大语言模型微调方法及装置

(57)摘要

CN119443182B本发明公开一种基于因果关系感知的大语言模型微调方法及装置，涉及自然语言处理技术领域；针对古文理解的应用场景，对大语言模型进行微调，包括：步骤1:准备数据：构建繁体古文数据集，步骤2:准备预训练基础模型，步骤3:根据繁体古文数据集，形成微调数据集，并对微调数据集的数据进行扩展与处理，步骤4:加载预训练模型，根据微调数据集对预训练后的中文LLama模型基于因果关系进行微调，步骤5:对迭代微调后中文LLama模型进行评估优化，获得模型的性能指标，步骤6:根据模型的性能指标选择最佳模型，本发明通过因果分析识别训练数据中

CN119443182B

步骤1:准备数据

步骤1:准备数据

步骤2:准备预训练基础模型

步骤3:根据繁体古文数据集，形成微调数据集,并对微调数据集的数据进行扩展与处理

步骤4:加载预训练模型，根据微调数据集对预训练后的中文LLama模型基于因果关系进行微调

步骤5:对迭代微调后中文LLama模型进行评估优化，获得模型的性能指标

步骤6:根据模型的性能指标选择最佳模型

CN119443182B权利要求书1/3页

2

1.一种基于因果关系感知的大语言模型微调方法，其特征是针对古文理解的应用场景，对大语言模型进行微调，包括：

步骤1:准备数据：构建繁体古文数据集，

步骤2:准备预训练基础模型：使用中文LLama模型作为预训练基础模型，根据繁体古文的特点调整中文LLama模型的分词策略，增量训练中文LLama模型，

步骤3:根据繁体古文数据集，形成微调数据集，并对微调数据集的数据进行扩展与处

理，

步骤4:加载预训练模型，根据微调数据集对预训练后的中文LLama模型基于因果关系

进行微调：

步骤41:建立因果关系模型，通过因果关系模型进行繁体古文句子因果分析和前后句

子时间序列分析，其中包括：

步骤411:通过因果关系模型进行繁体古文句子因果分析，捕捉句子中的因果性或文本生成中的依赖关系，

步骤412:通过因果关系模型进行时间序列分析，通过分析前后句子的逻辑关系，推断出事件发生的顺序，进而推测出因果关系，

步骤42:构建结构方程模型SEM,利用结构方程模型SEM确定多个特征之间的因果关系，

步骤43:构建因果关系网络，通过因果关系网络实现繁体古文成分的输入变量和现代中文译文的输出变量之间的因果路径，

步骤44:利用因果关系模型、结构方程模型SEM识别微调数据集中数据间因果关系，提取微调数据集的因果特征，根据因果关系的强度调节因果特征权重，进而调节中文LLama模型中涉及因果特征的参数的权重，

步骤45:选择中文