基于图卷积神经网络的跨模态行人重识别研究与应用.pdfVIP

重庆师范大学硕士学位论文中文摘要

基于图卷积神经网络的跨模态行人重识别研究与应用

摘要

近年来，行人重识别技术在智能视频监控应用广泛，其目的是匹配多个摄像

头捕获的给定行人的图像，所有行人图像都是在光线充足的情况下获得的。然而

传统的行人重识别方法不适用于在夜间低光照的环境下拍摄的行人图像。因此，

跨模态行人重识别技术应运而生。跨模态行人重识别任务的目标是根据给定的一

个行人的模态图像（可见光或者红外），与不同摄像机摄取到的同一身份行人的

另一模态图像进行匹配。然而，由于遮挡、相机视角差异和行人姿态变化等因素

导致的模态内差异，以及可见光和红外相机固有的成像机制导致的模态间差异问

题，使得跨模态行人重识别变成一个十分具有挑战性的检索问题。大多数跨模态

行人重识别方法侧重于探索单一模态内局部特征之间的细粒度关系来缓解模态差

异，而忽略了不同模态间局部特征之间的重要相关性。为了解决上述问题，本文

从网络模型出发进行了研究，主要工作如下：

（1）为了增强模态内间的局部特征的关联性，本文基于图卷积神经网络构

建了一种新颖的网络模型，称为模态感知图卷积网络。该方法首先设计了模态感

知模块，该模块可以取到更多有区分性的相同模态下模态特定特征和跨模态下

共享特征。随后，在此基础上，利用图神经网络构建了模态内关系图模块，为弥

补传统的方法中局部特征之间相关性的不足，该模块探索了单个模态中一个节点

和所有剩余节点之间的关系图，以增加身份表示之间的区别。接下来，为了保持

模态共享特征的一致性以及不同模态下局部特征之间的相关性，引入了跨模态对

齐模块来缓解模态差异并实现跨模态对齐。最后，使用身份损失、三元组中心损

失和跨模态相关一致性损失来约束模型，进一步升模型的性能。

（2）为了将理论实际应用到实践场景中，本文依据所方法设计并实现了

一套实际可用的跨模态行人重识别系统。该系统前端基于VUE框架实现，并通过

Node.js实现与服务器的请求发送与响应接收。系统的后端基于Springboot框架实

现。该系统实现了用户管理、行人图像上传、特征可视化、跨模态行人检索和日

志管理五大功能模块。该系统能够满足用户在图库集中对目标行人检索的需求，

极大地节省了人力成本。

关键词：跨模态行人重识别，深度学习，图卷积神经网络，跨模态学习，模态内

间关系

I

重庆师范大学硕士学位论文英文摘要

ResearchandApplicationofVisible-InfraredPersonRe-

identificationBasedonGraphConvolutionalNeuralNetwork

ABSTRACT

Inrecentyears,personre-identificationhasbeenwidelyusedinintelligentvideo

surveillance,whichaimstomatchimagesofagivenpersoncapturedbymultiplecameras.All

pedestrianimagesareacquiredunderwell-lightedconditions.However,traditionalpersonre-

identificationmethodsarenotapplicabletopersonimagescapturedinlow-lighted

environmentsatnight.Therefore,visible-infraredpersonre-identificationweredeveloped.The

goalofvisible-infraredper