CN120014280B 视觉语言融合的无人机航拍图像开放词汇语义分割方法 （中国民用航空飞行学院）.docxVIP

(19)国家知识产权局

(12)发明专利

(10)授权公告号CN120014280B(45)授权公告日2025.07.04

(21)申请号202510470102.8

(22)申请日2025.04.15

(65)同一申请的已公布的文献号申请公布号CN120014280A

(43)申请公布日2025.05.16

(73)专利权人中国民用航空飞行学院

地址618307四川省德阳市广汉市南昌路

四段46号

(72)发明人黄邦菊李俊辉黄龙杨

(74)专利代理机构北京市领专知识产权代理有限公司11590

专利代理师向兵

(51)Int.CI.

GO6V10/26(2022.01)

GO6V20/70(2022.01)

GO6V10/80(2022.01)

GO6N3/0464(2023.01)

GO6V10/764(2022.01)

GO6V20/17(2022.01)

(56)对比文件

BangjuHuang等.ExpandingOpen-

VocabularyUnderstandingforUAVAerialImagery:AVision-LanguageFrameworktoSemanticSegmentation.《Drones2025》.2025,第9卷(第155期),第1-11页第3章，图1.

DoudouZhang等.MF-SAM:enhancing

multi-modalfusionwithMambainSAM-Med3DforGPisegmentation.《VisComput(2025)》.2025,正文第3章，图1.

胡俊等.MRAU-net网络下的X光胸片肺野分割算法.《华侨大学学报(自然科学版)》.2023,第44卷(第3期),第399-401页第1章，图1.

审查员边放

审查员边放

GO6V10/82(2022.01)

(54)发明名称

视觉语言融合的无人机航拍图像开放词汇语义分割方法

(57)摘要

CN120014280B本发明公开了一种视觉语言融合的无人机航拍图像开放词汇语义分割方法，其涉及多模态人工智能技术领域。本方法基于多种注意力机制、多层次融合模块、动态调整机制，构建了视觉语言融合分割模型，确保了复杂场景下对已知与未知类别的航拍图像实现高精度、鲁棒性的分割效果；利用VIT、Mamba模型提取全局图像信息、局部图像细节，并采用自适应加权融合实现全局与局部特征的动态平衡，使用可变形卷积对局部结构进行强化，保证整体场景语义的准确表达；利用异构跨模态图融合模型整合更远距离的跨模

CN120014280B

开始

开始

利用无人机采集不同环境条件下的无类别航拍混合图像，生成对应的语言描述数

构建视觉语言融合分割模型

将无类别航拍混合图像、语言描述数据输入至视觉-

语言特征提取模型，输出得到多尺度时空视觉特征、语言特征

将语言特征和多尺度时空视觉特征输入至异构跨模态图融合模型，输出得到视觉-语言匹配特征

将视觉-语言匹配特征输入至语义分割模型

结束

S1

S2

S4

CN120014280B权利要求书1/3页

2

1.一种视觉语言融合的无人机航拍图像开放词汇语义分割方法，其特征在于，包括：

利用无人机采集不同环境条件下的无类别航拍混合图像，生成对应的语言描述数据；

构建视觉语言融合分割模型；所述视觉语言融合分割模型包括视觉-语言特征提取模型、异构跨模态图融合模型和语义分割模型；

将无类别航拍混合图像、语言描述数据输入至视觉-语言特征提取模型，输出得到多尺度时空视觉特征、语言特征；

将语言特征和多尺度时空视觉特征输入至异构跨模态图融合模型，输出得到视觉-语言匹配特征；

将视觉-语言匹配特征输入至语义分割模型，完成对航拍图像的语义分割；

所述语义分割模型采用轻量级U-Net++模型；所述语义分割模型的训练过程包括：

获取视觉-语言匹配训练特征并输入至轻量级U-Net++模型，输出得到语义分割训练结果；基于语义分割训练结果，计算动态权重三元组损失函数和广义交并比损失函数；基于动态权重三元组损失函数和广义交并比损失函