多模态机器学习 课件 第10章图像文本检索.pptx

MultimodalMachineLearning图像文本检索

MultimodalMachineLearning多模态机器学习2给定一种模态作为查询，在另一种模态中找出语义最匹配的结果图像到文本：以图像为查询，从候选描述中返回语义一致的句子文本到图像：以自然语言为查询，从图库中返回与描述相符的图像核心问题：把异构的视觉内容和语言表达转换成可比较的语义表示检索输出：计算图文匹配分数，并按分数对候选项进行排序主要难点：需要区分完全匹配与仅有部分语义相似的困难负样本Ch.10图像文本检索解决问题

MultimodalMachineLearning多模态机器学习3查询不仅要找到完全匹配