CN115239944B 基于因果推理的图像标题自动生成方法 （中国矿业大学）.docxVIP

(19)国家知识产权局

(12)发明专利

(10)授权公告号CN115239944B(45)授权公告日2025.07.08

(21)申请号202210661517.X

(22)申请日2022.06.13

(65)同一申请的已公布的文献号申请公布号CN115239944A

(43)申请公布日2022.10.25

(73)专利权人中国矿业大学

地址221116江苏省徐州市大学路1号中国

矿业大学

(72)发明人刘兵王栋刘明明陆劲夫

李穗

(74)专利代理机构南京瑞弘专利商标事务所(普通合伙)32249

专利代理师李悦声

(51)Int.CI.

GO6V10/25(2022.01)

GO6V10/40(2022.01)

GO6V10/82(2022.01)

GO6V10/764(2022.01)

GO6V10/44(2022.01)

GO6V10/80(2022.01)

GO6V20/62(2022.01)

GO6N3/047(2023.01)

GO6N3/045(2023.01)

GO6N3/042(2023.01)

GO6N3/088(2023.01)

GO6N3/0464(2023.01)

GO6N5/04(2023.01)

GO6N3/092(2023.01)

(56)对比文件

CN113946706A,2022.01.18CN113609326A,2021.11.05

审查员杨晓东

权利要求书4页说明书10页附图2页

(54)发明名称

基于因果推理的图像标题自动生成方法

(57)摘要

CN115239944B本发明公开了一种基于因果图的因果推理图像字幕生成方法，适用于在图像字幕中使用。构建基于详细的因果图的因果推理方法图像字幕CIIC框架，包括非对齐特征Transformer编码器和干预式Transformer解码器，非对齐特Transformer解码器包括顺序连接的FASTERR-CNN、干预式目标检测器IOD和标准的Transformer编码器；干预式Transformer解码器为在标准的Transformer解码器的前馈神经网络层模块之后插入一个因果干预CI模块组成；干预式目标检测器IOD和干预式Transformer解码器ITD联合控制视觉混淆因子和文本混淆因子对输入图像先进行编码，然后进行解码。通过后门调整能够消除混淆，有效解决传统图像描述中对编

CN115239944B

5

5

CN115239944B权利要求书1/4页

2

1.一种基于因果推理和Transformer的图像标题自动生成方法，其特征在于：构建基于详细的因果图的因果推理方法图像字幕CIIC框架，因果图包括视觉混淆因子和文本混淆因子；

所述因果推理方法图像字幕CIIC框架包括顺序连接的非对齐特征Transformer编码器UFT和干预式Transformer解码器ITD,其中非对齐特Transformer解码器包括顺序连接的FASTERR-CNN、干预式目标检测器IOD和标准的Transformer编码器；干预式Transformer解码器为在标准的Transformer解码器的前馈神经网络层模块之后插入一个因果干预CI模块组成；干预式目标检测器IOD和干预式Transformer解码器ITD联合控制视觉混淆因子和文本混淆因子对输入图像先进行编码，然后进行解码；

其中非对齐特征Transformer编码器UFT先将IOD提取到的解混淆视觉特征与从同一幅图像中提取的自底向上特征送入两个线性层映射生成Q,K,V向量，通过自注意力和交叉注意力进行集成，再进行传统Transformer中的AddNorm操作和前馈传播操作，得到的输出传到下一层编码块中，一共为L块，即叠加L次编码；干预式Transformer解码器ITD输入为当前生成的句子部分，