CN119293212A 一种基于自适应上下文学习的因果事理图谱形成模型构建方法 （华中科技大学）.docxVIP

(19)国家知识产权局

(12)发明专利申请

(10)申请公布号CN119293212A(43)申请公布日2025.01.10

(21)申请号202411384735.9

(22)申请日2024.09.30

(71)申请人华中科技大学

GO6N3/0895(2023.01)

GO6N3/084(2023.01)

GO6N5/022(2023.01)

GO6N5/04(2023.01)

地址430074湖北省武汉市洪山区珞喻路

1037号

(72)发明人李瑞轩陈玉婷王号召齐伊宁邹逸雄李玉华

(74)专利代理机构华中科技大学专利中心

42201

专利代理师尹丽媛

(51)Int.CI.

GO6F16/334(2025.01)

GO6F16/36(2019.01)

GO6F40/30(2020.01)

GO6N3/0455(2023.01)

权利要求书2页说明书8页附图3页

(54)发明名称

一种基于自适应上下文学习的因果事理图谱形成模型构建方法

(57)摘要

CN119293212A本发明属于自然语言处理领域，具体涉及一种基于自适应上下文学习的因果事理图谱形成模型构建方法，因果事理图谱形成模型包括检索器和大语言模型，构建方法分为检索器预训练和自适应上下文学习微调两阶段，利用对比学习损失构建基于自监督学习的样本检索器，实现优化文本向量表征；另外，设计出包含样本示例的提示词，结合自适应上下文学习策略，微调大语言模型，使得大语言模型捕捉相似样本中的事件因果关系模式，提高隐式事件因果关系抽取的准确性。本发明方法能充分挖掘文本中的事理逻辑知识，提高了隐式因果事件关系的抽取准确性，从

CN119293212A

检素器预训练阶段

检素器预训练阶段自适应上下文学习微调阶段

输出：(上游原材料涨价，产品成本上升)

对比?习报失

ChatGLM3

你现在是一个事件因果关系抽取模型。请帮我从确入中抽取出所有的因果事件对，以原因事件，结菜事件的格式回答，

SentEncoder

输人：愿材料价格上涨，并导致生产成本增加.

输入上游原材料图价，产品成本上升.

原材年价格上涨，并导致生产成本结加.

RoBERTa-

CN119293212A权利要求书1/2页

2

1.一种基于自适应上下文学习的因果事理图谱形成模型构建方法，其特征在于，包括：

构建训练样本集，每个样本包括一个句子及其对应的因果三元组；采用训练样本集训练由检索器和大语言模型所构成的因果事理图谱形成模型；

其中，训练过程中对训练样本集分批次输入待训练检索器，每一批次有K个训练样本，该检索器对每批次中每个训练样本的句子均进行两次编码得到两个句子特征表示h,h,

构成该句子的一个正示例对，将该句子的句子特征表示h与该批次中其它每个句子的h构成一个负示例对，得到K-1个负示例对；以最大化每个句子的正示例对相似度与各负示例对相似度总和的差别为目标，优化检索器参数，完成检索器训练；

采用训练后的检索器对每个训练样本的句子进行一次编码得到句子特征表示，从所有其它训练样本中搜索出句子特征表示与该句子的句子特征表示之间的相似度达到预设阈值的句子，并将该句子及其对应的因果三元组分别作为待微调大模型的输入输出示例，将预设任务描述、该输入输出示例和当前训练样本的句子输入大模型，根据大模型的输出与当前训练样本中真实的因果三元组的偏差，调整大模型参数，实现大模型微调。

2.根据权利要求1所述的因果事理图谱形成模型构建方法，其特征在于，在训练检索器过程中，还随机生成一个与每个训练样本中句子的序列长度相同的MASK序列M,对该训练样本中句子的h和该MASK序列M点乘得到编辑句子特征表示，基于该训练样本中句子的h和该编辑句子特征表示，采用编码器预测MASK序列M,以最小化该训练样本对应的MASK序列M和MASK序列M之间的偏差以及最大化每个句子的正示例对相似度与各负示例对相似度总和之间的差别为目标，优化检索器参数，完成检索器训练。

3.根据权利要求1或2所述的因果事理图谱形成模型构建方法，其特征在于，在优化检索器参数时，以最大化每个句子的正示例对相似度与各负示例对相似度总和之间的差别为目标所对应