面向多模态共指消解的数据构建平台研究.pdfVIP

摘要

随着科技的进步，互联网的推广使用，越来越多的新媒体技术也蓬勃发展起

来，人们可以利用新媒体技术在网络社交平台获取各类各样最新的信息，分享自

己的观点和看法。这其中也产生了不计其数的文本，图像和音频等数据，这些不

同模态的数据存在关联，且蕴含着极大的研究价值。为了挖掘这些多模态数据的

丰富信息，越来越多的科研工作者开展了大量的多模态相关任务。

本文研究面向新媒体下的多模态共指消解任务，构建了针对多模态共指消解

任务的多模态标注平台，人工标注了多模态数据语料库VD-Ref，运用深度学习

等相关技术试图挖掘多模态共指消解任务背后的信息价值。具体的工作如下：

首先，开发一个多模态数据标注平台。本文利用现流行的各类前后端开发技

术，系统开发一套区别于其他标注平台的多模态共指消解数据标注平台。该平台

在功能任务上，能够同时标注图像区域和文本区域；在其它功能上，该平台仍有

多并发标注的功能，有管理员和标注人员权限区分。

然后，构建多模态共指消解数据语料库。本文选取了VisualDialog数据集，

该数据集较为复杂，由图像描述，多轮对话和图像组成。在清洗分词好原始数据

后，利用本文构建的标注平台对该数据进行了标注，力求构建一个全新的涵盖大

量人工金标的数据集VD-Ref，该数据共计8,857条，图像和文本区域均有大量

由标注形成的天然多模态共指链。

最后，区别于传统的共指消解任务和视觉定位任务，本文要解决的多模态共

指消解任务重心是将文本中的名词、名词短语和代词定位到图像具体区域中去。

首先，本文利用视觉定位中常用的神经网络SOTA（state-of-the-art）模型MDETR

作为基线模型，再加入图卷积神经网络中的一种R-GCN网络编码数据中多模态

共指链的信息，试图研究多模态共指消解任务中代词或名词短语能被定位到图

像中区域的难易程度。实验表明，代词比名词短语更容易在图像中被定位；加入

共指链信息，可以显著提高名词短语和代词的被定位的能力。

通过以上研究，本文完成了多模态数据标注平台的构建，标注了新的数据集

VD-Ref，初步探索了多模态共指消解任务，为未来的研究提供了数据基础和奠

定了模型方法基础。

关键词：标注平台，VD-Ref数据集，多模态共指消解，图卷积神经网络

I

II

ABSTRACT

AstechnologyadvancesandtheInternetexpands,moreandmorenewmediatech-

nologiesflourish,allowingpeopletoaccessallkindsofup-to-dateinformationandshare

theiropinionsandviewsononlinesocialplatforms.Thishascreatedcountlessamounts

oftext,image,andaudiodata,whicharerelatedandhavegreatresearchvalue.Inorder

toexploretherichnessofthesemultimodaldata,moreandmoreresearchersarecarrying

outmanymultimodal-relatedtasks.

Thepurposeofthisthesisistoinvestigatemultimodalcoreferenceresolutiontasks

innewmedia,developamultimodalannotationplatformformultimodalcoreference

resolutiontasks,manuallyannotatethemultimodaldatacorpusVD-Ref,andusedeep

learningandotherrelatedtechniquesinanefforttounderstandtheinformationvalueof

multimodalcoreferenceresolutiontasks.Thesearethespecificsofthetask.

First,amultimodaldataannotationplatformisdev