基于多模态注意力机制的图像描述.pdfVIP

中文摘要 摘 要 图像描述是连接计算机视觉和自然语言处理的基础任务，在人工智能领域有 着广泛的应用。现有的图像描述算法普遍采用迁移学习提取图像特征，在生成描 述语句时只使用视觉特征，导致生成的描述语句不够准确、丰富。另外基于注意 力机制的图像描述算法模型结构复杂、训练难度较大。针对上述不足，本文提出 基于多模态注意力机制的图像描述算法。 首先基于图像描述数据集构造关键词类别、关键词数据集，通过关键词数据 集训练基于关键词的图像特征抽取模型，提取到更准确的图像特征。然后本文分 别提出了基于关键词注意力机制的图像描述算法和基于空间特征注意力机制的图 像描述算法。基于关键词注意力机制的图像描述算法通过关键词引导描述语句的 生成，能够克服生成的描述语句不丰富的缺点。基于空间注意力机制的图像描述 算法利用高层图像特征生成描述语句，简化了模型的结构。最后，本文结合关键 词注意力机制和空间注意力机制提出了基于多模态注意力机制的图像描述算法。 其中，空间注意力机制能够获得更优的视觉特征，关键词注意力机制能够引导描 述语句的生成，从而获到更加准确和更加丰富的图像描述语句。 本文在 MSCOCO 数据集进行了大量实验以验证本文提出模型的有效性和准 确性。实验结果表明本文提出的算法明显优于其他对比的图像描述算法。 关键词：图像描述；计算机视觉；自然语言处理；多模态；注意力机制 I 英文摘要 Abstract Image caption is a fundamental task for connecting computer vision and natural language processing, and it’s applied extensively to the field of artificial inte igence. Existing image caption algorithms usua y extract features by leveraging transfer learning, and only the visual features are employed to generate the descriptions, making the generated descriptions are inaccurate and not rich. In addition, the image caption algorithms based on the attention mechanism are complex structure and difficult to train. In this paper, we propose an image caption algorithm based on multimodal attention. We firstly construct the keyword category and the keyword dataset based on the image caption datase