应用动态Token的融合特征的持续图像字幕生成.pdfVIP

1762025，61（4）ComputerEngineeringandApplications计算机工程与应用

应用动态Token的融合特征的持续图像字幕生成

晋嘉利，余璐+

天津理工大学计算机科学与工程学院，天津300384

+通信作者E-mail：luyu@email.tjut.edu.cn

摘要：基于自注意力的结构（如Transformer）在图像字幕生成任务中有着突出的性能优势。但在大多数方法中模

型只在静态、同分布数据集上进行训练，而真实世界中的数据分布大多是非独立同分布的数据流，这种设置下的持

续图像字幕生成任务更具有挑战性。目前针对图像字幕生成的多模态任务的持续学习研究较少，缺乏更适用于基

于自注意力模型的持续图像字幕生成方法。针对以上挑战提出了一种应用动态Token的融合特征的持续图像字幕

生成方法。在Transformer中对图像字幕生成任务所涉及的不同模态的数据特征进行融合，并对融合特征进行正则

化计算；为每一个子任务定义一个Token，Token将随着子任务的切换而变化，这种Token即为动态Token，相比于整

个训练阶段只定义一个且被所有子任务共用的静态Token而言，动态Token更能保存每个子任务特有的信息和特

点。利用这些动态任务Token和任务标识融合特征注意力模块进一步获得具有任务标识信息的融合特征，并在每个

子任务训练结束后保存其对应的Token，以保持模型对旧任务的记忆和表达能力，减少模型对旧任务的灾难性遗

忘。在MS-COCO和Flickr30k数据集上的实验结果表明，应用动态Token的融合特征的持续图像字幕生成方法在

Transformer架构上优于所有基线方法。以CIDEr指标为例，所有训练任务结束后CIDEr指标的平均分数相较于微

调和所有基线方法中的最优方法分别提高了31.06%和13.94%。

关键词：图像字幕生成；持续学习；Transformer；融合特征；动态Token；正则化

文献标志码：A中图分类号：TP391doi：10.3778/j.issn.1002-8331.2309-0403

ContinualImageCaptioningwithDynamicToken-UsedFusionFeature

JINJiali,YULu+

SchoolofComputerScienceandEngineering,TianjinUniversityofTechnology,Tianjin300384,China

Abstract：Architecturesbasedonself-attentionmechanisms,suchasTransformer,exhibitoutstandingperformanceadvan-

tagesinimagecaptioningtasks.However,inthemajorityoftheseapproaches,modelsareonlytrainedonstaticandidenti-

callydistributeddatasets.Inreality,datadistributionsaremostlynon-independentandnon-identicallydistributeddata

streams,makingthetaskofcontinualimagecaptioningundersuchsettingsmorechallenging.Notably,thereislimited

researchoncontinuallearningformulti-modaltaskslikeimagecaptioning,andthereisalackofcontinualimagecaptioning

methodsthatarewell-suitedforself-attention-basedmodels.Toaddressthesechallenges,acontinualimagecaptioning

methodwithadynamicToken-basedfusionfeatureisproposed.Differentmodalitie