面向社交媒体文本和图像的多模态命名实体识别研究.pdfVIP

面向社交媒体文本和图像的

多模态命名实体识别研究

摘要

随着社交媒体网络的快速发展，从非结构化的社交媒体数据中提取重要信息成为了

迫切需求。但因社交媒体文本通常较短，语义不足，导致仅依赖文本特征难以取得良好

的命名实体识别效果。因此，结合图像信息的多模态命名实体识别方法逐渐成为了热门

的研究方向。然而，受制于多模态数据量较少的原因，对比学习在解决不同模态来自不

同编码器的表示不一致问题时，效果有限。同时，如何充分进行模态间的交互融合以此

来挖掘两种模态之间的关联信息也是当前多模态命名实体识别方法面临的问题。为此，

本文对多模态命名实体识别方法进行研究。本文主要研究内容如下：

首先，本文提出了一致性表示增强模块。该模块通过结合对比学习和最大均值差异

损失来训练网络，使两种模态的特征表示更为一致。同时，对于两种模态的特征表示，

本文采用具有相似架构的两个预训练模型来获取。其次，对于模态间的交互，本文提出

了一种双阶段和外部特征引导的多层次交互方法。双阶段模态交互第一阶段通过跨模态

交叉注意力得到交互特征，第二阶段先通过注意力机制增强文本和图像的关键特征，再

将其送入跨模态交叉注意力得到交互特征。此方法实现了全局级别以及细粒度层次的交

互，提高了模型对模态间关联信息的理解能力。同时，本文采用非缩放注意力计算两种

模态之间的注意力分数，使实体与图像中相似区域和不相似区域更加有区分性。此外，

由于交互特征容易受到不相关图像区域的噪声干扰，因此本文又采用外部信息引导的交

互方式，以纠正交互过程中产生的错误实体信息。在此基础上，本文采用多任务学习的

方法在模型中添加了实体边界检测模块，来提高模型对实体边界信息的关注度，进而提

升模型的整体性能。实验结果表明，本文的方法能够使两种模态之间的表示更加一致以

及更为充分的进行模态间交互融合，比对比方法具有更优的实体识别效果和泛化性能。

【关键词】：社交媒体；多模态命名实体识别；多模态交互融合；对比学习

ResearchonMultimodalNamedEntity

RecognitionforSocialMedia

TextsandImages

Abstract

Withtherapiddevelopmentofsocialmedianetworks,extractingimportantinformation

fromunstructuredsocialmediadatahasbecomeanurgentneed.However,thesocialmedia

textsareusuallyshortandsemanticallyinsufficient,whichmakesitdifficulttoachievegood

namedentityrecognitionbyrelyingonlyontextfeatures.Therefore,multimodalnamedentity

recognitionmethodscombiningimageinformationhavegraduallybecomeapopularresearch

direction.However,constrainedbythesmallamountofmultimodaldata,comparativelearning

haslimitedeffectinsolvingtheproblemofinconsistentrepresentationofdifferentmodalities

fromdifferentencoders.Meanwhile,howtoadequatelyperforminter-modalfusiontominethe

associationinformationbetweentwomodalitiesisalsoaproblemfacedbycurrentmultimodal

named