基于YOLOv5的密集行人检测与跟踪方法研究.pdf

基于YOLOv5的密集行人检测与跟踪方法研究

摘要

行人检测与跟踪是计算机视觉领域的热门研究课题之一，在自动驾驶、智能安防、

智能医疗、行为分析等场景中有着广泛应用。现有的行人检测与跟踪方法在稀疏大尺度

等简单场景中已经取得很大进展，但在面向遮挡、拥挤等人员密集场景时，由于摄像头

拍摄角度和距离的限制，图像中的行人目标尺度差异较大，那些尺度较小且相互间存在

遮挡的行人目标在检测时就易出现漏检、检测不准的问题，而且密集行人目标间的相互

ID

遮挡也增加了跟踪的难度，遮挡导致跟踪目标容易发生切换，影响跟踪的连续性。

为此本文以YOLOv5+DeepSort框架为基础，针对遮挡、拥挤等人员密集场景下行人检

测与跟踪的难点，对算法进行改进。本文具体工作内容如下：

1

（）针对遮挡、拥挤等人员密集场景下行人检测准确率低、漏检率高的问题，提

出一种基于RFB特征增强和BiFPN特征融合的YOLOv5密集行人检测方法。该方法首

先对RFB感受野模块进行改进，加强其特征学习能力，将改进后的RFB感受野模块融

入YOLOv5骨干网络，增强骨干网络特征提取能力并提升感受野。其次重构颈部网络，

使用BiFPN加权双向特征金字塔融合多尺度特征，提高多尺度行人目标特别是中小尺度

行人目标的检测准确率。最后还对NMS后处理方法进行改进，在YOLOv5原本的加权

NMS基础上，额外考虑候选框中心点间的距离，降低遮挡、拥挤等人员密集场景下行

人目标的漏检率。

2

（）针对密集行人目标间相互遮挡导致跟踪准确度低、连续性差的问题，提出一

种基于OSNet表观特征提取和优化级联匹配的DeepSort密集行人跟踪方法。该方法使

用全尺度网络OSNet提取行人表观特征，生成出更具区分度的行人表观特征向量，提高

ID

行人目标匹配成功率，降低跟踪过程中行人目标切换频率。并且优化级联匹配流程，

增加步骤用于判断是否发生了行人目标间的遮挡，若确认某目标被遮挡就延长其轨迹的

最大保留时间，以此来抵消行人间相互遮挡造成的影响。

3

（）对提出的行人检测改进算法和行人跟踪改进算法分别进行实验研究，通过实

验验证改进算法的有效性。行人检测实验表明，改进后YOLOv5检测算法相比改进前在

mAP0.52.6%MR-21.7%

自建密集行人数据集上提升，降低，检测性能提升明显。分析

算法改进前后训练过程损失变化曲线、准确率变化曲线和召回率变化曲线也可以发现改

进后算法相比改进前损失更低，准确率和召回率更高。与同类先进算法的对比实验证明，

YOLOv5SSDFCOSFasterR-CNNCascadeR-CNNYOLOv3

改进后的检测算法相较于、、、、、

哈尔滨工程大学专业学位硕士学位论文

YOLOv4等同类先进算法具有明显优势。行人跟踪实验表明，改进后DeepSort跟踪算

MOT16MOTA2.4%MOTP1.1%MT2.5%

法相比改进前在数据集上提升，提升，提升，

ML0.9%IDSW84

降低，降低次，跟踪性能得到显著提升。与同类先进算法的对比实

DeepSortMOTDTTracktor++SortJDE

验证明，改进后的跟踪算法综合性能优于、、、、

TubeTK等同类先进算法。