CN119785380B 一种基于煤矿场景的跨模态行人重识别方法 （济宁安泰矿山设备制造有限公司）.docxVIP

(19)国家知识产权局

(12)发明专利

(10)授权公告号CN119785380B(45)授权公告日2025.07.01

(21)申请号202411828573.3

(22)申请日2024.12.12

(65)同一申请的已公布的文献号申请公布号CN119785380A

(43)申请公布日2025.04.08

(73)专利权人济宁安泰矿山设备制造有限公司地址272399山东省济宁市鱼台县经济开

发区(古亭路西、北一环路南)

(72)发明人常猛相吉利王忠贺柴春苗程宇姬广凯

(74)专利代理机构南京正联知识产权代理有限公司32243

专利代理师戴丽莉

(51)Int.CI.

GO6V40/10(2022.01)

GO6V10/74(2022.01)

GO6V20/70(2022.01)

GO6V10/54(2022.01)

GO6V10/56(2022.01)

GO6V10/44(2022.01)

GO6V10/52(2022.01)

GO6V10/42(2022.01)

GO6V10/80(2022.01)

GO6V10/762(2022.01)

GO6V10/764(2022.01)

GO6V10/82(2022.01)

GO6N3/0464(2023.01)

GO6N3/0455(2023.01)

GO6N3/084(2023.01)

GO6F16/53(2019.01)

GO6F16/583(2019.01)

G06N3/048(2023.01)

(56)对比文件

CN114511878A,2022.05.17CN114694089A,2022.07.01审查员刘新旭

权利要求书5页说明书13页附图3页

(54)发明名称

一种基于煤矿场景的跨模态行人重识别方

法

(57)摘要CN本发明属于跨模态行人重识别领域，公开了一种基于煤矿场景的跨模态行人重识别方法，该方法包括：步骤1、获取表示行人图像的身份及行人图像对应的身份标签，并进行预处理；步骤2、构建跨模态行人重识别主干网络；步骤3、构建多尺度特征增强模块并加入跨模态行人重识别主干网络中；步骤4、确定损失函数，完成跨模态行人重识别主干网络的最终训练；步骤5、将其中一个模态行人图像作为查询集，另一模态行人图像作为待检索集，将查询集中的行人图像与待检索集中的行人图像进行匹配，得到跨模态行人重识别结果。本发明可有效融合跨模态间的图像特征

CN

型在跨模态行人图像检索场景下的预测能力和

泛化能力。

获取表示行人图像的身份及其对应的身份标签，每种标签的行人图像均包含有可见光图像和红外光图像并进行图像预处理

构建一个跨模态行人重识别主干网络，其结构主要包括：

颜色及文本编码器、片段关系建模框架、通道频谱变换模块

构建特征增强网络并加入至主干网络中，用于增强网络对目标对象的感知，获取更加丰富的行人图像特征

确定损失函数、训练环境以及训练细节，完成跨模态行人重识别模型的最终训练

进行查询图像和待检索图像的匹配

CN119785380B权利要求书1/5页

2

1.一种基于煤矿场景的跨模态行人重识别方法，其特征在于：所述煤矿场景跨模态行人重识别方法具体包括以下步骤：

步骤1、从煤矿红外光图像和煤矿可见光图像中获取表示行人图像的身份及行人图像对应的身份标签，每一个不同模态的行人图像均包含有可见光图像和红外光图像，并对可见光图像和红外光图像进行预处理，将可见光图像和红外光图像经过文本预训练模型进行预处理，得到经过文本预训练模型补充缺失色彩信息后的可见光图像特征和红外光图像特

征；

步骤2、构建基于关系建模和频谱变换的跨模态行人重识别主干网络，所述跨模态行人重识别主干网络主要包括：颜色编码器、文本编码器、片段关系建模模块、通道频谱变换模块以及可见光纹理编码器、联合关系编码器、红