基于注意力机制与协同学习的跨模态行人重识别算法研究.pdf

华中科技大学硕士学位论文

摘要

行人重识别旨在解决跨摄像头之间的行人检索问题，然而传统方法在夜间监控

效果较差，基于可见光与红外摄像头的跨模态行人重识别技术则弥补了上述缺陷。由

于可见光与红外图像间的模态差异以及噪声标签影响，现有跨模态行人重识别方法

的性能表现仍无法满足实际应用需求。基于上述背景，主要进行了如下工作。

针对模态差异问题，提出了基于多尺度先验注意力机制的跨模态行人重识别算

法。首先设计了统一模态生成方法生成统一模态图像，从图像层面缓解了模态差异；

然后设计了多尺度先验注意力模块，通过聚合各层多尺度的特征对全局上下文建模，

创建全局感知，提取模态间共享的细粒度信息，从特征层面缓解了模态差异；最后设

计了模态批量归一化方法，提高各模态数据分布的一致性。

针对现有算法精度会随着数据集中噪声标签比例上升而大幅下降的问题，提出

了基于非对称协同学习的跨模态行人重识别算法。首先设计了非对称协同学习方法，

利用多分类网络与多标签网络协同训练；然后设计了多视图不一致性策略，根据网络

的预测分歧解决噪声标签和噪声对应问题，并利用四重三元组损失对网络进行监督。

最后基于实际应用需求，集成所提出的两种算法以及其他若干开源行人重识别算法，

设计并实现了行人重识别系统。

为验证算法的有效性，在SYSU-MM01和RegDB数据集上进行了消融实验和对

比实验，与经典方法对比，所提出的算法取得了良好的检索精度，在两个数据集上的

Rank-1精度分别为66.71%和84.78%，其中在SYSU-MM01数据集上较次优方法提

升了0.37%。在两个数据集上设置不同比例的噪声标签，实验表明，随着噪声标签比

例的上升，其他对比方法的精度均出现30%到60%的降幅，而所提出算法精度的降

幅维持在15%以内，证明算法能有效提升对噪声标签的鲁棒性。所设计的系统能够

完成不同场景下的行人检索任务，并对检索结果进行可视化展示。

关键词：跨模态行人重识别；注意力机制；协同学习；噪声标签学习

I

华中科技大学硕士学位论文

Abstract

Personre-identificationaimstosolvetheproblemofpedestrianretrievalbetweencross

cameras.However,traditionalmethodshavepoormonitoringperformanceatnight,cross-

modalitypersonre-identificationtechnologybasedonvisiblelightandinfraredcameras

compensatesfortheaforementionedshortcomings.Duetothemodalitydifferencesbetween

visibleandinfraredimagesandtheinfluenceofnoisylabels,theperformanceofexisting

methodsstillcannotmeettheneedsofpracticalapplications.Basedontheabove

background,thefollowingworkhasbeenmainlycarriedout.

Thecross-modalitypersonre-identificationalgorithmbaseonmulti-scaleprevious

knowledgeattentionmechanismsisproposedtoaddressthemodalitydiscrepancyproblem.

Firstly,aunifiedmodalitygeneratormethodisdesignedtogenerateunifiedmodalityimages,

whicha