CN114463390B 耦合车队跟驰强化的多孪生对抗网络跨相机车辆追踪方法 （东南大学）.docxVIP

(19)国家知识产权局

(12)发明专利

(10)授权公告号CN114463390B(45)授权公告日2025.07.08

(21)申请号202210027047.1

(22)申请日2022.01.11

(65)同一申请的已公布的文献号申请公布号CN114463390A

(43)申请公布日2022.05.10

(73)专利权人东南大学

地址210096江苏省南京市玄武区四牌楼2

号

(72)发明人李志斌冯汝怡郑思邱开来杨逸飞

GO6T7/246(2017.01)

GO6N3/045(2023.01)

GO6N3/0475(2023.01)

GO6N3/0464(2023.01)

GO6N3/094(2023.01)

(56)对比文件

CN108171112A,2018.06.15CN112162555A,2021.01.01审查员武茹茹

(74)专利代理机构南京经纬专利商标代理有限

公司32200专利代理师姜慧勤

(51)Int.CI.

GO6T7/292(2017.01)权利要求书4页说明书12页附图3页

(54)发明名称

耦合车队跟驰强化的多孪生对抗网络跨相机车辆追踪方法

(57)摘要

CN114463390B本发明公开了耦合车队跟驰强化的多孪生对抗网络跨相机车辆追踪方法，包括：训练目标检测神经网络和图像标准化对抗网络，分别用于提取目标位置和图像标准化；上述网络多重孪生用于多线程多监控视频同步处理；提取车辆轨迹，获取车辆队列跟驰运动特征与各车辆形态特征；划分车辆跟驰状态，构建动态车队特征提取模型；融合车辆运动、交通状态传播及摄像机空间分布，建立车辆时空预测迭代式；融合动态车队模型与队内车辆形态分布特征，实现多监控下车队群体跨相机匹配；并对动态车队内个体依次追踪编号，完成车辆跨相机追踪。对抗网络排除了背景与视角干扰，跟驰特性与动态车队模型为

CN114463390B

上游摄像机

上游摄像机下游摄像机YOLOv5目标位置检测

1#目标2#目标

是新增车辆

提取车辆轨迹与强化车辆特征

图像形态特征轨迹运动特征

动态车队动态车队

构建动态车队

群体车辆匹配

跨相机追踪结果

赋予重复目标相同序号

图像形态特征

CN114463390B权利要求书1/4页

2

1.耦合车队跟驰强化的多孪生对抗网络跨相机车辆追踪方法，其特征在于，包括如下步骤：

S10,搭建获取目标特征信息的基本网络，并制作数据集，训练基本网络；所述基本网络包括用于目标检测的神经网络以及用于图像标准化的对抗网络；所述数据集包含目标检测数据集和图像标准化数据集；所述目标检测包括获取车辆位置及车辆大小；所述图像标准化包括姿态变换与背景去除；

S20,多重孪生上述基本网络，用于多线程多监控视频同步处理；

S30,在多重孪生的基本网络中构建轨迹实时提取模型，利用车辆运行的时间位置关系追踪不同帧之间相同目标并赋予目标序号，截取视频中轨迹图像，以轨迹为目标单位，通过对抗网络提取车辆形态特征并强化车辆形态特征；具体过程如下：

S31,保留视频中前一帧所有车辆目标位置，记为集合P?,获取当前帧中所有车辆目标位置，记为集合P?,目标位置由训练完成的神经网络检测结果得到，令集合P?中待判定重复的当前车辆目标位置p(x,y,1,w);

S32,对集合P?与集合P?中的矩形元素总体求交并比，交并比IoU计算表示如下：

IoU=Ainter/Aunion

其中，Ainter表示两集合中矩形相交部分的面积，Anion表示两集合中矩形并集总面积；

S33,对集合P?中IoU为0的目标，认为其为当前帧中的新增目标单独赋予新增车辆序号，其余目标执行S34;

S34,将集合P?中所有求得IoU不为0的目标与集合P?中的元素送入匈牙利算法，进行多目标追踪，匈牙利算法中采用马氏距离作为目标之间的距离差，马氏距离计算方式如下：

其中，D为向量了对于其分布平均值的马氏距离，C为向量了分布的协方差矩阵，计算过程中，辽为车辆移动像素向量U(x?-x?,y?-y?),(x?,y。)、(x?