原创力文档- 1
- 0
- 约1.69万字
- 约 13页
- 2023-11-22 发布于四川
- 举报
本申请公开了一种基于深度融合的多粒度图像‑文本匹配方法及系统，方法包括：将待匹配图像进行多粒度视觉编码，得到编码后图像；将待匹配文本进行多粒度视觉编码，得到编码后文本；基于编码后图像和编码后文本训练编码器，得到初始编码器；对初始编码器进行深度融合，得到跨模态编码器；对跨模态编码器进行训练，得到最终模型，利用最终模型完成图像和文本的匹配。本申请利用模态内和模态间的特征来训练不同的编码器，避免两者之间的相互干扰，从而有效的学习个模态的特征表示，同时降低了对算力资源的要求。采用了深度融合的方法，更加充
(19)国家知识产权局
(12)发明专利申请
(10)申请公布号 CN 117093692 A
(43)申请公布日 2023.11.21
(21)申请号 202311063453.4 G06V 10/80 (2022.01)
文档评论（0）