预训练多池注意力模型的事件论元抽取.pdfVIP

小型微型计算机系统2025年5月第5期

DOI:10.20009/ki,21-1106/TP.2024-0089

JournalofChineseComputerSystemsVol.46No.52025

预训练多池注意力模型的事件论元抽取

周晓磊12,梁宇龙12,郭锐锋12,张炜3

1（中国科学院沈阳计算技术研究所，沈阳110168）

2（中国科学院大学，北京100049）

3（沈阳市和平区南京街第三小学，沈阳110001）

E-mail:liangyulong22@mails.ucas.ac.cn

摘要：事件论元抽取任务在专业领域中，缺乏标注数据资源且数据标注成本高，导致任务性能在处理同类实体的主客体表达

时表现糟糕.本文提出了一种方法，将多池注意力机制与预训练模型相结合建模为以机器问答为框架的提取任务，通过采用预

训练编码的多维池化表示，捕获了句子和局部上下文特征，解决了在参数提取过程中准确识别事件主体和对象的问题，又增强

了模型在资源约束下的性能.通过与具有相似参数量级的预训练问答模型进行性能比较，本文方法显示出更高的评测性能.这

证实了本文方法在资源受限的情况下的有效性.

关键词：事件抽取；注意力机制；机器问答；预训练；多池化

中图分类号：TP182文献标识码：A文章编号：1000-1220(2025)05-1064-08

EventArgumentExtractionUsingPre-trainedMulti-poolingAttentionModels

ZHOUXiaolei,LIANGYulong*,GUORuifeng2,ZHANGWei?

1(ShenyangInstituteofComputingTechnology,ChineseAcademyofSciences,Shenyang110168,China)

2(UniversityofChineseAcademyofSciences,Bejing100049,China)

3(No.3PrimarySchoolonNanjingStreet,HepingDistrict,ShenyangCity,Shenyang110001,China)

Abstract:Thetaskofeventargumentextractionfaceschallengesinprofessionaldomainsduetothescarcityofannotateddatare-

sourcesandhighdataannotationcosts.Consequently,theperformanceofthetasksufferswhendealingwithexpressionsofsubjectand

objectforsimilarentities.Thispaperproposesamethodthatcombinesthemulti-poolingattentionmechanismwithpre-trainedmodels

tomodeltheextractiontaskwithintheframeworkofmachinequestionanswering.Byutilizingthemulti-dimensionalpooledrepresen-

tationsobtainedthroughpre-trainedencoding,themethodcapturessentenceandlocalcontextualfeatures,addressingtheissueofaccu-

ratelyidentifyingeventsubjectsandobjectsduringtheparameterextractionprocess,whilealsoenhancingthemodelsperfo