基于双层语义关系挖掘的图像文本互检索研究.pdfVIP

摘要

在数字信息时代的快速演变下，多模态数据呈现出越来越复杂的异构特性。作为

两种核心的信息传递方式，图像和文本模态在跨模态信息检索领域展现出广阔的应用

前景。然而，如何构建图像和文本之间完整的语义关系，实现图像与文本的精准互检

索，仍然是当前图像文本互检索研究面临的关键挑战。本研究旨在构建一种基于双层

语义关系挖掘的图像文本互检索模型，通过深入挖掘显式和隐式语义关系，提升跨模

态检索的准确性，同时为多模态数据挖掘提供的理论支撑和技术创新的基础。

现有的图像文本互检索方法大多依赖于简单的特征匹配策略，通常利用图像区域

的视觉特征与文本词语的特征之间的对应关系进行检索。然而，这种方法在语义理解

方面较为浅显，难以充分表达图像与文本间的深层语义关联，导致模型在面对复杂场

景时泛化能力不足。针对这一问题，本研究从理论和方法上进行了创新性探索，提出

了一种双层语义关系挖掘框架，从显式语义关系和隐式语义关系两个层面对跨模态语

义关系进行深入挖掘。

在显式语义关系层面，本研究提出了一种基于显式语义关系挖掘的分步式语义增

强网络（Step-wiseFeatureEnhancementnetworkforExplicitSemanticRelationMini