CN119809954B 基于全局和局部文本感知的多模态图像融合方法和模型 （佛山大学）.docxVIP

(19)国家知识产权局

(12)发明专利

(10)授权公告号CN119809954B(45)授权公告日2025.07.08

(21)申请号202510298599.X

(22)申请日2025.03.13

(65)同一申请的已公布的文献号申请公布号CN119809954A

(43)申请公布日2025.04.11

(73)专利权人佛山大学

地址528225广东省佛山市南海区狮山镇

广云路33号

GO6F40/16(2020.01)

GO6N3/0464(2023.01)

GO6N3/048(2023.01)GO6T5/60(2024.01)

(56)对比文件

CN118918428A,2024.11.08CN119206697A,2024.12.27审查员安健苗

(72)发明人李小松黎熹来李浩宇黄庄钒陈璁谭海曙

(74)专利代理机构广东海融科创知识产权代理事务所(普通合伙)44377

专利代理师许家裕

(51)Int.CI.

GO6T5/50(2006.01)权利要求书4页说明书15页附图11页

(54)发明名称

基于全局和局部文本感知的多模态图像融合方法和模型

(57)摘要

CN119809954B本申请属于图像处理技术领域，公开了一种基于全局和局部文本感知的多模态图像融合方法和模型，通过结合CLIP和BLIP两种视觉语言模型，分别处理图像的全局和局部信息，实现了对复杂场景和恶劣天气条件下图像的有效融合。全局文本感知模块利用CLIP特征增强了模型对整体场景的理解，而局部文本感知模块则利用BLIP特征提高了对局部细节的处理能力。这种双重文本感知机制使得模型能够更全面地利用视觉语言模型的优势，避免了仅依赖简单文本提示或过分强调局部细节的问题。能够充分利用视觉语言模型的优势，同时兼顾全局和局部信息处理，提

CN119809954B

输入层

输入层

01

全局文本感知模块CLIP图像编码器

特征提取网络

03

解码器

输出层

BLIP文本编码器

CLIP文本编码器

02

CN119809954B权利要求书1/4页

2

1.一种基于全局和局部文本感知的多模态图像融合模型，其特征在于，包括：

输入层(1)、全局文本感知模块(2)、CLIP图像编码器(3)、CLIP文本编码器(4)、BLIP文本编码器(5)、特征提取网络(6)、解码器(7)和输出层(8);

所述输入层(1)用于输入源图像并把所述源图像分别输入所述全局文本感知模块(2)、所述CLIP图像编码器(3)、所述CLIP文本编码器(4)和所述BLIP文本编码器(5);所述源图像包括相互配准的红外源图像和可见光源图像；

所述CLIP图像编码器(3)用于生成所述源图像的CLIP图像特征并分别输入所述全局文本感知模块(2)和所述特征提取网络(6);所述CLIP文本编码器(4)用于生成所述源图像的CLIP文本特征并输入所述全局文本感知模块(2);所述BLIP文本编码器(5)用于生成所述源图像的BLIP文本特征并输入所述特征提取网络(6);

所述全局文本感知模块(2)用于对所述源图像进行融合并根据所述CLIP文本特征把所述CLIP图像特征整合到融合结果中，得到初步融合结果，以丰富所述初步融合结果的全局信息，并把所述初步融合结果输入所述特征提取网络(6);

所述特征提取网络(6)嵌入有至少一个局部文本感知模块(9),所述特征提取网络(6)用于对所述初步融合结果进行特征提取，并在特征提取过程中根据所述BLIP文本特征把所述CLIP图像特征整合到特征提取结果中，以丰富所述特征提取结果的局部信息，并把所述特征提取结果输入所述解码器(7);

所述解码器(7)用于对所述特征提取结果进行解码生成最终融合图像，并通过所述输出层(8)输出所述最终融合图像。

2.根据权利要求1所述的基于全局和局部文本感知的多模态图像融合模型，其特征在于，所述全局文本感知模块(2)包括第一卷积层(201)、第一分离层(202)、第一最大池化层(203)、第一残差模块(204)、第一交叉注意力模块(205)、第二卷积层(206)、第二分离层(207)、第二最大池化层(208)、第二残差模块(209)和第二交叉注意力模块(210);

所述第一卷积层