一种基于跨度的实体关系联合抽取模型.pdfVIP

创新与实践ＴＥＣＨＮＯＬＯＧＹＡＮＤＭＡＲＫＥＴ

Ｖｏｌ．３１，Ｎｏ．６，２０２４

一种基于跨度的实体关系联合抽取模型

段慧蓉，冯国富

南京审计大学，江苏南京２１１８１５

摘要实体关系联合抽取旨在从文本中自动识别实体及实体间的关系，并生成＜主体实体、关系、客体实体＞三元组

形式的语义信息，在问答系统、知识图谱等领域具有重要意义。但是目前仍然存在着实体关系重叠、误差累计等问题。

为了解决上述问题，提出了一种基于跨度的实体关系联合抽取模型ＳｐＥＲＴ．ＭＤＰ。该模型在实体和关系分类中融入句

法信息和词性特征，以及使用多层感知器（ｍｕｌｔｉｌａｙｅｒｐｅｒｃｅｐｔｒｏｎ，ＭＬＰ）和ｓｏｆｔｍａｘ进行跨度分类。试验结果表明：所提出

的模型优于目前主流模型。

关键词实体关系联合抽取；依存句法分析；词性标注；多层感知器

ｄｏｉ：１０．３９６９／ｊ．ｉｓｓｎ．１００６８５５４．２０２４．０６．００４

以所有可能的字符子序列作为标记的基本单位，每个

０引言

字符子序列称为１个跨度，有利于识别嵌套实体。例

实体关系抽取是信息抽取领域的重要分支之一，［１］

如Ｄｉｘｉｔｅｔａｌ．提出了基于双向长短期记忆网络（ｂｉ

旨在从非结构化的文本数据中正确识别出特定类型ｄｉｒｅｃｔｉｏｎａｌｌｏｎｇａｎｄｓｈｏｒｔｔｅｒｍｍｅｍｏｒｙ，ＢｉＬＳＴＭ）的跨

的实体，并预测实体之间的关系，最终呈现出ＳＰＯ度级端到端模型，实现了在所有可能的跨上并行地进

（ｓｕｂｊｅｃｔ，ｐｒｅｄｉｃｔｉｏｎ，ｏｂｊｅｃｔ）三元组形式的结构化数［２］

行实体识别。Ｌｕａｎｅｔａｌ．提出通用框架ＤｙＧＩＥ，通

据。实体关系抽取是构建知识图谱、问答系统及文本过在编码过程中动态构建图模型来捕获跨度间的相

摘要等领域的重要前置任务，对大数据时代节约昂贵［３］

互作用。此外，Ｗａｄｄｅｎｅｔａｌ．在编码端采用ｂｅｒｔ模

的人工成本、自动化处理繁多的数据具有重要现实型，而非原先ＤｙＧＩＥ框架中的ＢｉＬＳＴＭ，进一步提出

意义。［４］

了ＤｙＧＩＥ＋＋模型。Ｅｂｅｒｔｓｅｔａｌ．提出基于跨度的实

传统的三元组提取主要基于管道方法，先抽取实体关系联合抽取模型（ｓｐａｎｂａｓｅｄｅｎｔｉｔｙａｎｄｒｅｌａｔｉｏｎ

体，再抽取实体间的关系。虽然这种流水线的抽取方ｔｒａｎｓｆｏｒｍｅｒ，ＳｐＥＲＴ），采用ｂｅｒｔ预训练模型作为编码

式使抽取过程更容易理解，但忽略了２个过程之间的器，一一枚举得到文本中所有可能的实体跨度，接着

内部联系，会造成误差累计、信息冗余、交互缺失等问通过２个多层前馈神经网络（ｆｅｅｄｆｏｒｗａｒｄｎｅａｒａｌｎｅｔ

题。近年来，实体关系联合抽取方法的研究越来越受ｗｏｒｋ，ＦＦＮＮ）对每个实体跨度进行建模和分类，有利

到关注，实体抽取和关系抽取为同时进行的２个任于减少误差传播，缓解实体重叠问题。

务，通过参数共享的方法加强２个任务之间的联系，