CN114332519B 一种基于外部三元组和抽象关系的图像描述生成方法 （杭州电子科技大学）.docxVIP

(19)国家知识产权局

(12)发明专利

(10)授权公告号CN114332519B(45)授权公告日2025.07.01

(21)申请号202111638065.5

(22)申请日2021.12.29

(65)同一申请的已公布的文献号申请公布号CN114332519A

(43)申请公布日2022.04.12

(73)专利权人杭州电子科技大学

地址310018浙江省杭州市下沙高教园区2

号大街

(72)发明人姜明陈景翔张旻李鹏飞

(74)专利代理机构杭州君度专利代理事务所(特殊普通合伙)33240

专利代理师朱月芬

GO6V10/82(2022.01)GO6F16/35(2025.01)GO6N3/0442(2023.01)

GO6N3/0464(2023.01)GO6N3/088(2023.01)

(56)对比文件

CN113609326A,2021.11.05CN113642630A,2021.11.12审查员马银雪

(51)Int.CI.

GO6V10/762(2022.01)

GO6V10/80(2022.01)权利要求书3页说明书5页附图3页

(54)发明名称

一种基于外部三元组和抽象关系的图像描述生成方法

(57)摘要

CN114332519B本发明公开了一种基于外部三元组和抽象关系的图像描述生成方法。本发明首先提取图像描述文本中的三元组，构建外部关系库并对三元组进行特征编码。将文本相似度高于阈值的三元组聚类为一类。同时模型对图像进行目标检测得得到目标视觉特征集合与目标类别集合；根据文本相似度在外部关系库中查询目标与目标类别相似的三元组。模型利用目标视觉特征对图像的目标、属性、关系分别进行预测，生成场景图；并利用卷积神经网络融合视觉特征与文本特征，对目标、属性、关系进行特征编码。最后融合场景图目标、属性、关系编码特征与相似关系和抽象关系的编码特征，输入到双层LSTM序列生成模型中

CN114332519B

视觉模块

视觉模块

视觉特征预割目标

构建场景图

预测关系日标类别

编码模块

外部知识模块

BFKT

构建外部关系库

聚类抽象关系

amanwitharedhelmenidinga

motoreycledownacountrysideditroad

amanwitharedhelmetonasmalmopedonaditroad.

场景图端码

融合特征

且标检测

双层LSTM模型

解码模块

编码

CN114332519B权利要求书1/3页

2

1.一种基于外部三元组和抽象关系的图像描述生成方法，其特征在于包括以下步骤：

步骤(1)使用开放域知识抽取工具，提取图像描述文本中的三元组，构建外部关系库，并对三元组进行特征编码；

步骤(2)根据三元组中关系rel的文本相似度，将文本相似度高于设定阈值的三元组聚类为一类，称之为抽象关系Ras;

步骤(3)对图像进行目标检测，得到目标视觉特征集合V与目标类别集合W;根据文本相似度，在外部关系库中查询目标obj与目标类别相似的三元组，称之为相似关系Rs;m;

步骤(4)利用目标视觉特征V,对图像的目标obj、属性attr、关系rel分别进行预测，生成场景图；并利用多模态图卷积神经网络MGCN融合目标视觉特征与目标类别W的词向量，对目标obj、属性attr、关系rel进行特征编码；

步骤(5)图像描述生成模型用于融合场景图编码特征与关系编码特征，得到融合特征；所述的关系编码特征包括相似关系的编码特征和抽象关系的编码特征；融合特征输入到图像描述生成模型的双层LSTM解码器中进行训练，挑选最优训练模型；将图像输入训练好的图像描述生成模型，输出对应的图像描述；

步骤(4)具体实现过程如下：

4-1利用目标视觉特征V,对图像的目标obj、属性attr、关系rel分别进行预测，生成场景图；对于目标，利用FasterRCNN进行目标检测；对于属性，利用预先训练的属性分类器进行属性预测；对于关系，利用MOTIFS场景图生成模型进行关系检测；最终分别得到目标obj、属性attr、关系rel的类别词向量e。,ea,e以