融合预训练模型与注意力的事件抽取方法.pdfVIP

1302025，61（4）ComputerEngineeringandApplications计算机工程与应用

融合预训练模型与注意力的事件抽取方法

肖立中，殷晨旭+

上海应用技术大学计算机科学与信息工程学院，上海201418

+通信作者E-mail：ycx_sit2021@163.com

摘要：事件抽取旨在从大量无结构的文本中抽取出结构化的事件信息，然而现有的研究工作存在难以抽取重叠角

色，子任务间缺乏交互以及语义特征表达能力不足的问题。针对上述问题提出了一种中文事件抽取模型PACJEE

（pre-trainedlanguagemodelandattentionmechanismbasedChinesejointeventextraction）。该模型采用预训练

语言模型RoBERTa来提取文本特征，对文本进行事件类型分类，在触发词识别阶段，将提取到的事件类型先验特征

与文本特征进行融合，并且使用自注意力机制获取内部特征相关性，在论元角色分类阶段引入卷积神经网络与注意

力机制来加强触发词特征的表达能力，通过多层指针标注进行重叠角色的识别。该方法在中文数据集ACE2005和

DuEE上进行了实验分析，结果显示，相较于基准方法，在触发词分类上的F1值分别提升1.6和0.5个百分点，在论元

角色分类上的F1值分别提升3.3和2.5个百分点，说明该模型能显著提升事件抽取效果，并且在一定程度上提升了对

角色重叠事件的识别准确率。

关键词：事件抽取；角色重叠；特征融合；注意力机制

文献标志码：A中图分类号：TP391.1doi：10.3778/j.issn.1002-8331.2309-0255

IncorporatingPre-TrainedModelandAttentionMechanismforEventExtraction

XIAOLizhong,YINChenxu+

SchoolofComputerScienceandInformationEngineering,ShanghaiInstituteofTechnology,Shanghai201418,China

Abstract：Eventextractionaimstoextractstructuredeventinformationfromalargeamountofunstructuredtexts,but

existingresearchworkhasproblemssuchasdifficultyinextractingoverlappingroles,lackofinteractionbetweensub-

tasks,andinsufficientsemanticfeatureexpressionability.ThispaperproposesaChineseeventextractionmodelPACJEE

(pre-trainedlanguagemodelandattentionmechanismbasedChinesejointeventextraction)toaddresstheseproblems.

Themodelusesthepre-trainedlanguagemodelRoBERTatoextracttextfeatures,thenclassifiestheeventtypesofthe

text,inthetriggerwordrecognitionstage,fusestheextractedeventtypepriorfeatureswiththetextfeatures,andusesself-

attentionmechanismtoobtaintheinternalfeaturerelevance,intheargumentroleclassificationstage,introducesconvolu-

tionalneuralnetworkandattentionmechanismtoenhancethetriggerwordfeat