面向视障用户的模块化实时图像生成式描述方法.docxVIP

PAGE

PAGEI

PAGE

PAGEI

PAGE

PAGE1

面向视障用户的模块化实时图像生成式描述方法

摘要

图像描述生成（ImageCaptioning）是一种能够把图片内容“翻译”成文字描述的技术，属于多模态任务。这项技术在帮助视力障碍人士理解图片、医学影像分析、无人驾驶等领域非常有用。早期方法依赖人工设计规则和固定的句子模板来得到描述文本，但这样生成的句子往往比较生硬，也很难灵活适应各种不同的图片和场景。随着深度学习技术的发展，主流方法大多基于“编码器-解码器”架构。简单来说，就是编码器负责理解图像，解码器负责把理解到的内容用自然语言表达出