融合编码器和视觉关键词搜索的图像中文描述.pdfVIP

第４２卷第４期计算机应用与软件Ｖｏｌ４２Ｎｏ．４

２０２５年４月ＣｏｍｐｕｔｅｒＡｐｐｌｉｃａｔｉｏｎｓａｎｄＳｏｆｔｗａｒｅＡｐｒ．２０２５

融合编码器和视觉关键词搜索的图像中文描述

１１１１１２

孟繁聪徐伟李海波吴闽郑竣杰陈兴

１（华东宜兴抽水蓄能有限公司江苏无锡２１４２００）

２（河海大学计算机与信息学院江苏南京２１１１００）

摘要针对当前已有模型缺乏对图像局部细节的关注以及趋向于通用型描述问题，提出一种采用融合编码

器和视觉关键词搜索技术的图像中文描述方法。构建融合编码器，在一个卷积神经网络（ＣＮＮ）中同时提取图像

的局部和全局特征，丰富长短时记忆网络（ＬＳＴＭ）解码的语义信息；针对图像描述一般性表达，采用基于ＣＮＮ的

图像检索方法查找潜在视觉词汇，用于词向量解码；引入强化学习机制，在ＣＩＤＥｒ评估指标上做句子层面上的优

化，用以提高图像描述的词汇多样性。实验结果验证了所提方法的有效性。

关键词图像中文描述编解码结构注意力机制图像检索强化学习

中图分类号ＴＰ３文献标志码ＡＤＯＩ：１０．３９６９／ｊ．ｉｓｓｎ．１０００３８６ｘ．２０２５．０４．０３０

ＡＣＨＩＮＥＳＥＩＭＡＧＥＣＡＰＴＩＯＮＩＮＧＭＥＴＨＯＤＢＡＳＥＤＯＮＦＵＳＩＯＮＥＮＣＯＤＥＲ

ＡＮＤＶＩＳＵＡＬＫＥＹＷＯＲＤＳＥＡＲＣＨ

１１１１１２

ＭｅｎｇＦａｎｃｏｎｇＸｕＷｅｉＬｉＨａｉｂｏＷｕＭｉｎＺｈｅｎｇＪｕｎｊｉｅＣｈｅｎＸｉｎｇ

１（ＥａｓｔＣｈｉｎａＹｉｘｉｎｇＰｕｍｐｅｄＳｔｏｒａｇｅＰｏｗｅｒＣｏ．，Ｌｔｄ．，Ｗｕｘｉ２１４２００，Ｊｉａｎｇｓｕ，Ｃｈｉｎａ）

２（ＣｏｌｌｅｇｅｏｆＣｏｍｐｕｔｅｒａｎｄＩｎｆｏｒｍａｔｉｏｎ，ＨｏｈａｉＵｎｉｖｅｒｓｉｔｙ，Ｎａｎｊｉｎｇ２１１１００，Ｊｉａｎｇｓｕ，Ｃｈｉｎａ）

ＡｂｓｔｒａｃｔＡｉｍｅｄａｔｔｈｅｐｒｏｂｌｅｍｔｈａｔｔｈｅｅｘｉｓｔｉｎｇｉｍａｇｅｃａｐｔｉｏｎｍｏｄｅｌｓｌａｃｋａｔｔｅｎｔｉｏｎｔｏｔｈｅｌｏｃａｌｄｅｔａｉｌｓｏｆａｎｉｍａｇｅ

ａｎｄｔｅｎｄｔｏｇｉｖｅｇｅｎｅｒａｌｄｅｓｃｒｉｐｔｉｏｎ，ａＣｈｉｎｅｓｅｉｍａｇｅｃａｐｔｉｏｎｍｅｔｈｏｄｃｏｍｂｉｎｉｎｇｅｎｃｏｄｅｒａｎｄｖｉｓｕａｌｋｅｙｗｏｒｄｓｅａｒｃｈｉｓ

ｐｒｏｐｏｓｅｄ．Ａｆｕｓｉｏｎｅｎｃｏｄｅｒｗａｓｃｏｎｓｔｒｕｃｔｅｄ，ａｎｄｔｈｅｌｏｃａｌａｎｄｇｌｏｂａｌｆｅａｔｕｒｅｓｏｆａｎｉｍａｇｅｗｅｒｅｅｘｔｒａｃｔｅｄｓｉｍｕｌｔａｎｅｏｕｓｌｙ

ｉｎａｃｏｎｖｏｌｕｔｉｏｎａｌｎｅｕｒａｌｎｅｔｗｏｒｋ（ＣＮＮ）ｔｏｅｎｒｉｃｈｔｈｅｓｅｍａｎｔｉｃｉｎｆｏｒｍａｔｉｏｎｏｆｉｍａｇｅｆｅａｔｕｒｅｓｉｎｌｏｎｇｓｈｏｒｔｔｅｒｍｍｅｍｏｒｙ

（ＬＳＴＭ）ｄｅｃｏｄｉｎｇｓｔａｇｅ．Ａｉｍｅｄａｔｔｈｅｐｒｏｂｌｅｍｏｆｇｅｎｅｒａｌｅｘｐｒｅｓｓｉｏｎ，ｔｈｅｉｍａｇｅｒｅｔｒｉｅｖａｌｍｅｔｈｏｄｂａｓｅｄｏｎｃｏｎｖｏｌｕｔｉｏｎａｌ

ｎｅｕｒａｌｎｅｔｗｏｒｋｗａｓｕｓｅｄｔｏｆｉｎｄｔｈｅｐｏｔｅｎｔｉａｌｖｉｓｕａｌｗｏｒｄｓ，ａｎｄｗａｓｉｎｔｅｇｒａｔｅｄｉｎｔｏｔｈｅｗｏｒｄｖｅｃｔｏｒｇｅｎｅｒａｔｉｏｎｐｒｏｃｅｓｓｉｎ

ｔｈｅｄｅｃｏｄｉｎｇｓｔａｇｅ．ＲｅｉｎｆｏｒｃｅｍｅｎｔｌｅａｒｎｉｎｇｍｅｃｈａｎｉｓｍｗａｓｉｎｔｒｏｄｕｃｅｄｔｏｏｐｔｉｍｉｚｅｔｈｅＣＩＤＥｒｅｖａｌｕａｔｉｏｎｉｎｄｅｘａｔｔｈｅ

ｓｅｎｔｅｎｃｅｌｅｖｅｌｔｏｉｍｐｒｏｖｅｔｈｅｌｅｘｉｃａｌｄｉｖｅｒｓｉｔｙｏｆｉｍａｇｅｄｅｓｃｒｉｐｔｉｏｎ．Ｅｘｐｅｒｉｍｅｎｔａｌｒｅｓｕｌ