基于目标检测与动作识别的多目标视觉监管技术研究.pdfVIP

摘要

基于目标检测与动作识别的多目标视觉监管技术研究

近年来，我国经济持续增长，不断推动着基础建设和生产制造业的发展。但

与此同时，我国生产安全形势日益严峻，安全事故不断发生。其中人的不规范行

为是造成安全事故的主要原因之一，具体包括：施工时工人不正确穿戴制服和安

全帽；工人在施工时存在一些危险行为如打电话、摔倒、长时间蹲坐等。目前如

何减少安全事故的发生，加强对工人的安全管理成为一项复杂而重要的工作。

本文结合人工智能中的深度学习与机器学习技术，对采集到的大量视频进行

智能分析识别，得到图像中的异常信息，并及时做出预警以此来实现真正的视觉

监管。该方法克服了传统监控人力资源耗费巨大、监控管理不及时的一些弊端。

本文工作内容如下：

（1）本文搭建了基于大变焦网络摄像头和电动云台的视频图像采集端，用于

实时采集目标区域的RGB视频图像。

（2）针对传统监控功能单一、效率低下的问题，本文搭建了基于目标检测与

动作识别的多目标视觉监管系统，以客户端－服务器模式实现了视觉监管系统的

软件设计。在客户端中完成了tf-pose网络的搭建以及多目标视觉跟踪模块的程

序设计，在服务器中完成了目标检测模块与异常动作识别模块的程序设计，并采

用网络通信技术实现了两端之间的数据交互。

（3）考虑到当监控图像中人员较多时，不易分辨出存在问题的人员，本文搭

建了基于DeepSort的多目标视觉跟踪算法。首先提出了一种依据tf-pose网络提

取出的人体骨骼信息得到人物包围矩形Box的方法；然后DeepSort算法会实时

跟踪图像中人物Box的状态，并为每个人物设定不同的ID，依据ID可以快速锁

定存在穿戴不规范与异常动作的人物；最后根据人物Box尺寸提取出不同的人

物图像，并分别将不同的人物图像以及相应的骨骼信息与ID信息输入到服务器

进行识别。服务器会将存在问题的人物信息反馈回客户端。

（4）针对穿戴制服（防护服）和安全帽不规范的问题，本文在Keras深度学

习框架搭建了基于Yolov4-MobileNetv3的目标检测网络模型，用轻量型的

MobileNetv3网络替换Yolov4的主干网络，并对网络进行了优化，在识别精度满

I

足需求的基础上提升了检测速度，降低了对计算机性能的要求。使用该模型对图

像处理后的人物图像进行检测，并对检测结果进行先验知识的分析，最后得到目

标人物穿戴制服和安全帽的情况。同时，为了训练该模型，本文依据现有的图像

处理技术，提出了一种构建安全帽和制服数据集的方法。

（5）针对在施工时人员可能存在一些危险动作的问题，本文搭建了异常动作

定位模型与异常动作识别模型。其中异常动作的定位采用基于SVM模型的方法

实现，该模型负责定位人物可能出现异常动作的视频帧，排除视频中的正常动作，

减小了系统资源的消耗；若识别出异常，则连续采集该人物的10帧骨骼信息，

在对数据完成处理后输入到基于注意力机制的BiGRU异常动作识别模型，识别

出异常动作的种类。同时为了训练模型，本文构建了异常动作定位与识别所需的

数据集，并提出了一种对骨骼数据进行预处理的方法，有效地提高了模型训练的

效率和准确率。

关键词：

视觉监管，骨骼信息，多目标跟踪，目标检测，动作识别

II

Abstract

ResearchonMulti-ObjectiveVisualSupervisionTechnologyBasedon

ObjectDetectionandActionRecognition

Inrecentyears,ourcountryseconomyhascontinulygrownandpromotedthe

developmentofinfrastructure,productionandmanufacturing.Butatthesametime,

thesituationofsafetyproductioninourcountryhasb