CN114492443B 训练实体识别模型的方法及系统和实体识别方法及系统 （支付宝(杭州)信息技术有限公司）.docxVIP

(19)国家知识产权局

(12)发明专利

(10)授权公告号CN114492443B(45)授权公告日2025.07.01

(21)申请号202210078338.3

(22)申请日2022.01.24

(65)同一申请的已公布的文献号申请公布号CN114492443A

(43)申请公布日2022.05.13

(73)专利权人支付宝(杭州)信息技术有限公司地址310023浙江省杭州市西湖区西溪路

556号8层B段801-11

(72)发明人唐锦阳都金涛祝慧佳

(74)专利代理机构上海专利商标事务所有限公

司31100

专利代理师钱孟清段登新

(51)Int.CI.

GO6F40/295(2020.01)

GO6F16/36(2019.01)

GO6N5/022(2023.01)

GO6F18/241(2023.01)

GO6N3/0464(2023.01)

GO6N3/0455(2023.01)

GO6N3/08(2023.01)

(56)对比文件

CN113157932A,2021.07.23

CN111859934A,2020.10.30审查员赵园

权利要求书3页说明书18页附图10页

(54)发明名称

训练实体识别模型的方法及系统和实体识别方法及系统

(57)摘要

CN114492443B公开了一种用于训练实体识别模型的方法，包括：构造训练集；以及将该训练集中的训练样本输入到实体识别模型，以得到该训练样本中的句子的序列标注预测输出和实体匹配预测输出，基于该句子的序列标注预测输出和该句子的序列标注标签确定该句子的序列标注损失；至少部分地基于该句子的实体匹配预测输出和该句子的隐喻实体标签确定该句子的实体匹配损失；确定该实体识别模型的总损失，该总损失为该序列标注损失和该实体匹配损失的加权和；以及迭代执行训练以最小化该实体识别模型的总损失，从而得到经训练的实体识别模型。本申请还涉及相对应的实体识别方法以及相关系统、装置和介

CN114492443B

构造训练集

构造训练集

702

将训练集中的训练样本输入到实体识

别模型，得到序列标注预测输出和实

704

基于序列标注预测瑜

出和序列标注标签确

定序列标注损失

706

至少部分地基于该句

子的实体四配预测输

出和隐喻实体标签确

定实体匹配损失

708

确定所述实体识别模型的总损失

710

迭代执行训练以最小

化总损失从而得到经

训练的实体识别模型

712

700

CN114492443B权利要求书1/3页

2

1.一种用于训练实体识别模型的方法，包括：

构造训练集，其中所述训练集包括多个训练样本d={Sinput,XNER,XTER},其中Sinput为句子，XNER为该句子的序列标注标签，XTER为该句子的隐喻实体标签，所述隐喻实体标签用于表示该句子的隐喻实体，其中隐喻实体是该句子实际指向、但未出现在该句子中的实体；

使用所述训练集对所述实体识别模型执行训练，所述实体识别模型基于经预训练的K-BERT模型，其中对所述实体识别模型执行训练包括：

将所述训练集中的训练样本输入到实体识别模型，以得到该训练样本中的句子的序列标注预测输出和实体匹配预测输出，

基于该句子的序列标注预测输出和该句子的序列标注标签确定该句子的序列标注损失Loss_sequence;

至少部分地基于该句子的实体匹配预测输出和该句子的隐喻实体标签确定该句子的实体匹配损失Loss_match;

确定所述实体识别模型的总损失Loss_total,所述总损失为所述序列标注损失和所述实体匹配损失的加权和，即：Loss_total=Loss_sequence+a*Loss_match,其中α指示实体匹配损失的权重；以及

迭代执行训练以最小化所述实体识别模型的总损失，从而得到经训练的实体识别模型。

2.如权利要求1所述的方法，其中与所述句子相关联的知识图谱也被输入到所述实体识别模型。

3.如权利要求2所述的方法，其中确定该句子的实体匹配损失Loss_match包括：

使用与所述知识图谱相关联的图神经网络来生成该句子的隐喻实体向量；

确定所述句子的实体匹配预测输出与该隐喻实体向量之间的向量距离；以及

确定该句子的实体匹配损失Loss_mat