图像多模态社会常识理解与实践研究.pdfVIP

关于图像文本多模态社会理解的研究和实践

:学号:

2019218007

本次大作业主要研究的问题是imageunderstanding，图像理解是社算的一个热门问题。

图像在视觉上所产生的隐式信息是十分丰富且复杂的，除了图像表面所带来的物体关系、空间

关系，人们往往会通过知识对一张图像背后所涉及的内容进行补充。比如看到一个背着书

包的孩子匆忙跑向学校，人们可以推测这个孩子可能是上学了。但是，现有的视觉问答模

型有这个推理能力吗？实际上，推理过程对于现有模型而言依然是一个比较棘手的问题。我们

如何提升模型在该方面的理解力？为了探讨这个问题，我选择的着手点是视觉文本多模态的常

识推理问答。

在社算中，视觉问答是一个比较热门的问题，它要求根据所提及的关系实体之间的关

系，以及额外的非结构化的描述，进行推理、匹配，找出最佳的。研究该问题的想法

于开放的数据集VCR(VisualCommonsenseReasoningCVPR2019)，该数据集可以

visualquestionanswering模型对的理解程度。

一.问题描述

给定一张