CN118609069B 一种基于深度学习与图神经网络的工业抛洒物监测方法 （朗坤智慧科技股份有限公司）.docxVIP

(19)国家知识产权局

(12)发明专利

(10)授权公告号CN118609069B

(45)授权公告日2025.01.10

(21)申请号202411053907.4

(22)申请日2024.08.02

(65)同一申请的已公布的文献号申请公布号CN118609069A

(43)申请公布日2024.09.06

(73)专利权人朗坤智慧科技股份有限公司

地址210005江苏省南京市鼓楼区汉中路2

号亚太商务楼31层

(72)发明人陈松李辉袁存发宋金峰

王郑耿天涛朱为义

(74)专利代理机构南京禹为知识产权代理事务所(特殊普通合伙)32272

专利代理师杨洁

(51)Int.CI.

GO6V20/54(2022.01)

GO6V20/40(2022.01)

GO6V20/62(2022.01)

GO6V10/25(2022.01)

GO6V10/24(2022.01)

GO6V10/764(2022.01)GO6V10/82(2022.01)GO6T7/246(2017.01)

GO6T7/277(2017.01)

GO6N3/045(2023.01)

GO6N3/042(2023.01)

GO6N3/0464(2023.01)

GO6N3/084(2023.01)

GO6N3/096(2023.01)

(56)对比文件

CN

CN

116994216

114647730

A,2023.11.03

A,2022.06.21

审查员郭娴红

权利要求书4页说明书10页附图2页

(54)发明名称

一种基于深度学习与图神经网络的工业抛洒物监测方法

(57)摘要

CN118606069B本发明公开了一种基于深度学习与图神经网络的工业抛洒物监测方法，涉及智能监控和计算机视觉领域，包括基于视频流进行分析和目标第一次检测，使用深度学习模型识别和跟踪工程车辆，并利用OCR技术提取车牌信息；对识别和跟踪工程车辆扩展检测区域，利用抛洒物识别模型进行第二次检测车辆区域的疑似抛洒物；基于疑似抛洒物的区域进行第三次检测，判断是否有抛洒物。本发明通过深度学习模型识别进入特定区域的工程车辆，识别疑似抛洒物并记录特征；通过计算等待时间和图像配准技术进行第三次检测，排除误检；通过图神经网络算法构建异构图，

CN118606069B

开始

开始

基于视频流进行工程车辆进人特定区域的分析和目标第一次检测

使用深度学习模型识别和器踪工程车辆利用OCR技术提取车牌信息

对识和报踪工程车辆扩展检测区域，利用挑西物职模型进行第二次检测车辆区域的疑似以推西物

关联车牌号

记谈疑以胱西物的相关特征

使用和第二次检测的MaskR-CNN模型进行第三次检测上报告警

判所第三次检测结果和

第二次怡结果是香一致

使用图神经网络关联算法关联抛酒物信息和车辆信息

根据关联结果生成报警信息等级和处理优先级

结束

对定位结果进行倾斜校正，使用CRNN模型进行端到端的车牌OCR并通过CTC解码获取最终的车牌字符率

输出第一次检测结果

CN118609069B权利要求书1/4页

2

1.一种基于深度学习与图神经网络的工业抛洒物监测方法，其特征在于：包括，基于视频流进行工程车辆进入特定区域的分析和目标第一次检测；

基于第一次检测结果，使用深度学习模型识别和跟踪工程车辆，并利用OCR技术提取车牌信息；

对识别和跟踪工程车辆扩展检测区域，利用抛洒物识别模型进行第二次检测车辆区域的疑似抛洒物；

基于疑似抛洒物的区域进行第三次检测，判断是否有抛洒物；

基于三次检测结果，使用图神经网络关联算法关联抛洒物信息和车辆信息；

根据关联结果生成报警信息等级和处理优先级；

使用DeepSORT算法进行车辆跟踪，并为每个被跟踪的车辆分配唯一ID;

所述车辆跟踪包括以下步骤：所述车辆跟踪的相关公式如下：

xk=F+Bu+Wk;

其中，Xk为k时刻的状态向量，F为k时刻的状态转移矩阵，B为k时刻的控制输入矩阵，Uk为k时刻的控制向量，Wk为k时刻的过程噪声；

使用卡尔曼滤波算法预测车辆在下一帧中的位置，同时使用匈牙利