结合对抗训练增强和联合损失微调的脚本事件预测方法.pdfVIP

小型微型计算机系统2025年2月第2期

DOI:10.20009/ki,21-1106/TP.2023-0464

JournalofChineseComputerSystemsVol.46No.22025

结合对抗训练增强和联合损失微调的脚本事件预测方法

刘玉婷1.2.3,丁鲲13,刘茗13,王保卫²

1（国防科技大学第六十三研究所，南京210007）

2（南京信息工程大学计算机学院、网络空间安全学院，南京210044）

3（国防科技大学大数据与决策实验室，长沙410073）

E-mail:1045000215@

摘要：脚本事件预测旨在根据脚本中的历史事件预测最有可能发生的后续事件，这需要有充足的事件样本并拥有学习到更

多的上下文信息的能力.以往的方法主要关注局部信息，因而对事件的表征不充分.该文提出了一种基于预训练和微调的方法，

通过对抗训练增强样本和联合损失微调来获得更全面的语义信息.首先利用MLM任务和FGM的方法，使模型利用少量信息

完成信息间的交互并获取到更多的事件信息，为确保有相同输入的文本能够有一致分布的输出，在微调阶段进行R-Drop调优，

进一步提高模型的性能.在广泛使用的《纽约时报》语料库上的实验结果表明，该文提出的方法提升了脚本事件预测的预测性能。

关键词：脚本事件预测；上下文信息；对抗训练；联合损失微调

中图分类号：TP391文献标识码：A文章编号：1000-1220(2025)02-0274-06

ScriptEventPredictionBasedonAdversarialTrainingAugmentationandJointLossFine-tuning

LIUYuting23,DINGKun,LIUMing,WANGBaowei?

1(TheSixty-ThirdResearchInstituteofNationalUniversityofDefenseTechnology,Nanjing210007,China)

2(SchoolofComputerScience,NanjingUniversityofInformationScienceTechnology,Nanjing210044,China)

3(ChinaLaboratoryforBigDataandDecision,NationalUniversityofDefenseTechnology,Changsha410073,China)

Abstract:Scripteventpredictionaimstopredictthemostlikelysubsequentevents,whichrequiresasufficientsampleofeventsandthe

abilitytolearnmorecontextualinformation.Previousmethodsmainlyfocusedonlocalinformation,sotheeventrepresentationwasin-

adequate.Theproposedmethodinthiswork,whichinvolvespre-trainingandfine-tuningtogathermoredetailedsemanticinformation

bytrainingwithadversarialsamplesandadjustingthelosstogether.Firstly,weusedMLMandFGMtoboostthemodelsabilitytoin-

teractwithinformationbetweeneventsandextractedeventsinformationwhengivenlimitedinput.Inordertoensurethat