基于语义平衡感知的图像文本互检索研究.pdfVIP

摘要

随着多媒体技术的快速迭代与普及，社交媒体平台已成为用户分享和传播多媒体

内容的重要渠道，海量的图像、文本、视频等多模态数据不断涌现。从这些丰富多样

的数据中高效、精准地检索信息，不仅具有重要的理论研究价值，也展现出广阔的应

用前景，这使得图像文本互检索逐渐成为学术界和工业界的研究热点。图像文本互检

索的核心目标是通过一种模态的查询，检索出语义相关但模态不同的结果。其中，图

像文本互检索作为跨模态检索的典型任务，近年来取得了显著的研究进展。然而，随

着数据规模的爆炸性增长以及数据维度的持续扩展，图像文本互检索面临着新的挑战，

如异构鸿沟、计算复杂度高和模型泛化能力弱等问题，亟待进一步探索和突破。

尽管图像文本互检索技术取得了显著进展，不同模态数据之间的语义不均衡问题

仍然是亟待解决的关键挑战。具体来说，图像和文本在表达相同语义时具有不同的特

性：文本通常能够直接提供清晰的语义描述，而图像的语义信息往往是隐含的、间接

的，依赖于视觉内容的抽象特征。这种模态间的语义不均衡导致检索过程中两者的语

义表达和理解不对称，影响了相似性计算的准确性，进而阻碍了检索性能的提升。为

了解决这一问题，语义平衡感知成为图像文本互检索中的一个关键研究方向。语义平

衡感知旨在通过对目标图