基于层级循环注意力网络的跨媒体检索方法.PDF

基于层级循环注意力网络的跨媒体检索方法 綦金玮， 彭宇新， 袁玉鑫 （北京大学 计算机科学技术研究所，北京 100080） 摘 要 ：跨媒体检索旨在以任意媒体数据检索其他媒体的相关数据，实现图像、文本等不同媒体的语义 互通和交叉检索。然而，异构鸿沟导致不同媒体数据的特征表示不一致，难以实现语义关联，使得跨媒 体检索面临巨大挑战。而描述同一语义的不同媒体数据存在语义一致性，且数据内部蕴含着丰富的细粒 度信息，为跨媒体关联学习提供了重要依据。现有方法仅仅考虑了不同媒体数据之间的成对关联，而忽 略了数据内细粒度局部之间的上下文信息，无法充分挖掘跨媒体关联。针对上述问题，本文提出了基于 层级循环注意力网络的跨媒体检索方法。首先，构建媒体内-媒体间两级循环神经网络，其中底层网络分 别建模不同媒体内部的细粒度上下文信息，顶层网络通过共享参数的方式挖掘不同媒体之间的上下文关 联关系。然后，设计基于注意力的跨媒体联合损失函数，通过学习媒体间联合注意力来挖掘更加精确的 细粒度跨媒体关联，从而提升跨媒体检索的准确率。本文在两个广泛