基于深度学习的行人跟踪系统.pdf

摘要

行人跟踪是计算机视觉应用领域中的一项重要任务，是多目标跟踪的主要应

用场景之一，有着广阔的应用发展前景。针对以往行人跟踪方法中检测精度不足

和频繁遮挡导致跟踪目标身份切换的问题，本文提出了一种基于Transformer网络

结构的简单高效的无锚多目标跟踪方法。经过一系列详细的实验设计验证了本文

提出的方法的可靠性，该方法的性能超过了FairMOT基线网络，在MOT17测试

集上，多目标跟踪指标MOTA(MultipleObjectTrackingAccuracy)达到了74.9%，

IDF1(IdentificationF1Score)达到了72.5%。本文的主要工作如下：

1.提出基于Transformer结构的编解码结构：通过设计基于Transformer结构

的特征提取网络，并针对提出的骨干网络设计了适合Transformer结构的解码网络，

有效的提升了检测能力，最终在MOT17验证集上，检测指标AP(AveragePrecision)

上提高了0.28%，由于目标检测性能的提升跟踪指标MOTA和IDF1也相应得到提

升，并且模型参数量比基线网络少了0.7M。

2.提出了交替冻结训练策略和检测框二次匹配策略：针对检测和身份嵌入

特征提取两个任务相互竞争导致检测跟踪精度降低的问题，提出了交替冻结检测

分支和嵌入特征提取分支的训练策略，经过先冻结嵌入特征提取分支训练30轮，

再冻结检测分支和编解码网络训练10轮，最终模型在MOT17验证集上MOTA和

IDF1分别比基线网络提高了1.7%和3.3%。基于FairMOT匹配跟踪策略，将检测

网络生成的检测框分为高低置信度框，首先通过高置信度框与轨迹匹配，然后再

使用低置信度框与剩余轨迹进行匹配。在使用了检测框两次匹配策略后，通过交

替冻结训练的模型在MOT17验证集上MOTA和IDF1分别提高了0.9%和0.7%，

并且身份标识切换次数降至271。

3.设计开发并部署基于深度学习的实时监控行人跟踪系统：针对行人跟踪

任务需求，将该系统设计为三个部分，分别为基于Android平台的视频图像采集

系统、基于PyTorch平台的数据处理系统以及基于Web页面的展示系统。系统实

现了实时视频的采集和行人的检测跟踪，在视频监控页面展示实时推理视频和当

前帧的人数，在数据分析页上展示基于人数的分析图表。

关键词：FairMOT，行人跟踪，Transformer，实时监控系统

ABSTRACT

Pedestriantrackingisanimportanttaskinthefieldofcomputervision,anditisone

ofthemainapplicationscenariosofmulti-objecttracking,whichhasbroadapplication

anddevelopmentprospects.InordertosolvetheproblemofIDswitchesoftracking

objectcausedbyfrequentocclusionandinsufficientdetectionaccuracyinprevious

pedestriantrackingmethods,thisthesisproposesasimpleandefficientmulti-object

trackinganchor-freemethodbasedonTransformernetworkstructure.Thereliabilityof

theproposedmethodisverifiedbyaseriesofdetailedexperimentaldesigns.The

performanceoftheproposedmethodisbetterthanthatofFairMOTbaselinenetwork.On

theMOT17testset,MOTA(MultipleO