基于多视图关联表征的三维模型检索算法研究.pdfVIP

摘要

随着三维技术的快速发展及多变的应用场景（智能制造、虚拟家装、虚拟游

戏、VR/AR等），三维模型的数量呈现出爆发式增长，传统的基于精准标注的

检索系统已经无法高效地实现三维模型的检索任务，如何更快、更准地检索出用

户所需要的三维模型成为了研究的热点内容。目前三维模型检索的主流方法为基

于模型的三维模型检索方法和基于图像的三维模型检索方法。基于模型的三维模

型检索方法中，将三维模型表示为多视图形式的效果往往更好，但是目前大多数

方法忽略了在多视图融合过程中对显著性信息进行保护，导致检索性能不佳。基

于图像的三维模型检索方法更方便用户操作，有着更强的实用性。但由于二维图

像和三维模型属于不同的模态，二者之间存在天然的语义鸿沟，给检索带来了较

大的挑战。

为了实现更便捷、更准确的三维模型检索系统，本文针对模型检索和跨模态

检索，分别提出了便捷有效的解决方案：

1）基于多视图层级化融合池的三维模型识别方法。本方法构建了一个层级

化融合池结构，充分考虑多视图之间的相关性，分层级对多视图特征进行融合，

不仅去除了冗余信息，同时保留了关键信息，从而提升了三维模型描述子的表征

能力。同时本方法中还引入了一个三维注意力模块，可以有效挖掘多视图之间的

关键信息，并为层级化融合池中的图构造做准备。

2）基于图卷积网络的跨模态三维模型检索方法。本方法设计了一个跨模态

图结构，在充分考虑二维图像的视觉信息和三维模型的结构视觉信息的基础上，

将两者进行了连接，实现了跨模态数据在同一图结构下的存储。同时，针对开放

域环境下三维模型数据缺乏标注的问题，本文采用无监督图卷积网络来实现多模

态数据表征一致性的有效学习，以提升检索性能。

本文在多个主流的三维模型检索数据集上进行了大量实验，最终的实验结果

表明了两种方法的有效性与实用性。

关键词：三维模型检索，多视图，跨模态，图卷积网络

ABSTRACT

Withtherapiddevelopmentof3Dtechnologyandchangingapplication

scenarios(intelligentmanufacturing,virtualhomedecoration,virtualgames,VR/AR,

etc.),thenumberof3Dmodelshasshownanexplosivegrowth.Thetraditional

retrievalsystembasedonaccurateannotationhasbeenunabletoeffectivelyachieve

theretrievaltaskof3Dmodels.Howtoquicklyandaccuratelyretrievethe3Dmodels

requiredbyusershasbecomeahottopicofresearch.Atpresent,themainmethodsof

3Dmodelretrievalaremodel-based3Dmodelretrievalandimage-based3Dmodel

retrieval.Inmodel-based3Dmodelretrievalmethods,itisoftenbettertorepresent

the3Dmodelasamulti-viewform,butmostofthecurrentmethodsignorethe

protectionofsignificantinformationintheprocessofmulti-viewfusion,resultingin

poorretrievalperformance.TheImage-based3Dmodelretrievalmethodismore

convenientforuserstooperateandhasstronge