CN116483942B 基于再注意力机制和对比损失的法律案情要素抽取方法 （湖南大学）.docxVIP

(19)国家知识产权局

(12)发明专利

(10)授权公告号CN116483942B(45)授权公告日2025.07.01

(21)申请号202310537953.0

(22)申请日2023.05.15

(65)同一申请的已公布的文献号申请公布号CN116483942A

(43)申请公布日2023.07.25

(73)专利权人湖南大学

地址410012湖南省长沙市岳麓区麓山南

路1号

(72)发明人刘玉玲赵国龙谭威武

(74)专利代理机构长沙麓创时代专利代理事务所(普通合伙)43249

专利代理师张丽

(51)Int.CI.

GO6F16/31(2019.01)

GO6F16/353(2025.01)

GO6F18/214(2023.01)

GO6F18/24(2023.01)

GO6N3/0455(2023.01)

GO6N3/0985(2023.01)

GO6N3/0499(2023.01)

GO6N3/048(2023.01)

GO6N3/047(2023.01)

G06Q50/18(2012.01)

(56)对比文件

CN114764913A,2022.07.19USB1,2023.03.28审查员邓清清

权利要求书3页说明书8页附图2页

(54)发明名称

基于再注意力机制和对比损失的法律案情要素抽取方法

(57)摘要

CN116483942B本发明公开了一种基于再注意力机制和对比损失的法律案情要素抽取方法，包括法律文本预处理步骤、法律文本与法律案情要素标签联合嵌入步骤、法律案情要素标签表示提取步骤、法律文本表示精化步骤以及法律案情要素标签预测步骤，法律文本与法律案情要素标签联合嵌入步骤是使用预训练模型RoBERTa对法律文本和法律案情要素标签一起进行编码；法律案情要素标签表示提取步骤是从RoBERTa的输出中得到法律案情要素标签表示；法律文本表示精化步骤是使用法律案情要素标签表示来去除法律文本表示中的冗余信息；法律案情要素标签预测步骤则得到每个法律案情要素标签的概率分布。本发明可

CN116483942B

法律文本预处理步骤

法律文本预处理步骤

法律文本与法律案情要素标签联合嵌入步骤

法律案情要素标签表示提取步骤

法律文本表示精化步骤

法律案情要素标签预测步骤

CN116483942B权利要求书1/3页

2

1.一种基于再注意力机制和对比损失的法律案情要素抽取方法，其特征在于，包括以下步骤：

步骤101:法律文本预处理步骤：获得法律文本数据集，去除法律文本数据集中重复的数据，法律文本数据集包括若干法律文本和对应的法律案情要素标签文本；

步骤S102:对预训练模型RoBERTa进行训练，训练步骤如下：

步骤1021:法律文本与法律案情要素标签联合嵌入步骤：将法律文本数据集一起输入到预训练模型RoBERTa中得到联合文本表示；

步骤1022:法律案情要素标签表示提取步骤：从联合文本表示里提取出法律案情要素标签表示，并使用对比损失Lcon对法律案情要素标签表示进行优化，得到法律文本表示；

步骤1023:法律文本表示精化步骤：从法律文本与法律案情要素标签联合嵌入步骤中得到的联合文本表示里提取出法律文本表示，将法律文本表示与法律案情要素标签进行两次交叉注意力得到去除冗余信息后的法律文本表示；

步骤1024:将去除冗余信息的法律文本表示0输入到分类器中得到每一个法律案情要素标签的概率分布9i和分类器的损失Lmle;得到模型的总损失Loss=Lmlc+λ·Lcon,λ是0到1之间的超参数；

步骤1025:训练直至总损失Loss小于预设值得到训练好的模型RoBERTa;

步骤S103:将待抽取的法律案情要素的法律文本输入训练好的模型RoBERTa抽取得到对应的法律案情要素。

2.如权利要求1所述的基于再注意力机制和对比损失的法律案情要素抽取方法，其特征在于，所述步骤1021的具体步骤如下：对法律文本T=[x?,X?,.,x]进行编码得到其嵌入ET=[Ex?,Ex?…,Exm],其中m为法律文本的长度，E的具体计算如公式(1)所示，x表示法律文本中第m个token,Exm表示法律文本中第m个token嵌