基于多交叉注意力和词间关系的生物医学命名实体识别.pdfVIP

摘要

随着科技的迅速发展和信息化时代的到来，我们所面临的数据量和数据复杂度都在

不断攀升，特别是在自然语言处理领域。近年来，随着一些传染病的相继出现，生物医

学领域的重要性越来越突出。通过生物医学的研究和应用，我们能够更好地了解人体的

生理和病理过程，提高人类的生活质量。因此，对于生物医学领域的研究也就越来越重

要，而如何有效识别出生物医学领域文本中的实体也就成为了我们解决此类问题的重点。

本文主要针对目前生物医学文本实体识别中的三个子任务，即平面实体、嵌套实体以及

不连续实体做出研究。其中把平面实体作为第一个任务进行研究，把嵌套实体和不连续

实体统一作为第二个任务进行研究。本文的研究工作包括：

（1）对于平面实体识别任务，目前的生物医学命名实体识别一般单独使用

CharCNN或CharRNN来提取字符特征，没有考虑它们之间的互补能力，且只通过拼接

的方法对字符特征和词特征进行融合，忽略了字词相互融合过程中的特征信息。基于此，

本文提出了一种名为DCLM（BioDistilBERT-CharCNN+CharLSTM-BiLSTM-MHA）的多

交叉注意力特征融合的模型。首先通过三次交叉注意力融合得到充分的字词特征，之后

使用BiLSTM来捕获文本的上下文信息，同时引入多头注意力机制，使模型能够捕捉到

更多关于实体边界和类型的信息。在模型训练过程中联合FacalLoss和交叉熵损失函数

对模型进行训练，缓解数据不平衡问题。最终实验表明，本文提出模型在NCBI-Dis，

BC5CDR-Dis，BC5CDR-Che，JNLPBA以及BC2GM生物医学数据集上分别取得了

90.76%，89.79%，94.98%，80.27%以及88.84%的最佳F1值。

（2）对于生物医学实体多存在嵌套和不连续现象，本文提出了一个名为KGCTM

（KeBioLM-ATT-BiGRU-CNN-Traffine-MLP）的模型，主要通过对词与词之间的关系进

行预测从而识别嵌套和不连续实体。该模型主要分为四个模块：编码层、混合卷积层、

预测层以及解码层。在模型训练中加入基于PGD的对抗训练，同时通过对DiceLoss和

交叉熵损失函数赋予不同的权重来对模型进行训练，解决数据不平衡问题。最终实验表

明，本文提出模型在嵌套数据集GENIA和不连续数据集CADEC中取得了81.05%和

72.68%的最佳F1值。

关键词生物医学命名实体识别；多交叉注意力；词间关系；数据不平衡

Abstract

Withtherapiddevelopmentoftechnologyandtheadventoftheinformationage,the

amountandcomplexityofdatawearefacedwithareconstantlyrising,especiallyinthefieldof

naturallanguageprocessing.Inrecentyears,withtheemergenceofsomeinfectiousdiseases,the

importanceofthebiomedicalfieldhasbecomeincreasinglyprominent.Throughtheresearch

andapplicationofbiomedicine,wecanbetterunderstandthephysiologicalandpathological

processesofthehumanbodyandimprovethequalityofhumanlife.Therefore,howto

effectivelyidentifyentitiesinbiomedicaltextshasbecomethefocusofourresearch.Thisarticle

mainlyfocusesonthreesubtasksinbiomedicaltextentityrecogni