结合检测、人员追踪和姿势估计的案例分析.docxVIP

我们生活在一个不断发展的世界，安全已成为一项基本优先事项。在这个不断变化的时代，安全问题已经成为焦点。对安全的日益关注在各种公共场所明显，包括机场、学校、购物中心等等。这种关切源于人群中广泛存在的枪支。令人震惊的是，仅在2023年初，美国就因与枪支有关的暴力事件发生了超过2万起致命案件。这些令人担忧的统计数字强调了我们社会迫切需要进行讨论和采取行动，以提高安全性并遏制枪支在我们社会中造成的毁灭性影响。

如今，公共和私人空间的监控主要由人工操作员进行，这带来了一些问题。其中包括操作员同时监视多个摄像头的挑战，以及可能导致在关键情况下反应不及时的潜在干扰。因此，实施能够在某种程度上自动化该过程的先进监控系统变得至关重要。

本工作提出了使用人工智能进行武器检测和个体追踪的系统的设计和开发。本文将详细阐述使用YOLO实现目标检测、使用ByteTrack进行人员追踪以及使用OpenVINO进行模型优化的过程，旨在创建一个增强安全和监控的解决方案。

目标

该项目的目标如下：

1.在视频中进行实时枪支检测。

2.优化检测模型，提高视频处理效率并减少推断时间。

3.追踪携带武器的个体，实时监控感兴趣的人。

已实施的模块

为实现这些目标，实施了两个模块：

检测模块：集成了一个经过预训练以识别武器并经过优化以减少推断时间的YOLO目标检测器。

追踪模块：负责估计个体的姿态并追踪它们。稍后将提供有关为何进行姿态估计的理由的进一步解释，这对于识别感兴趣的人物至关重要。

系统的输入是一个视频，可以是MP4、AVI或其他常见视频格式。这两个模块的联合输出结果是一个MP4视频，突出显示武器检测和人员追踪。此外，生成并存储了包含有关使用的检测方法和推断时间的详细信息的日志。

使用YOLO进行目标检测

为了检测武器，选择了速度快且在实时目标检测中效果显著的YOLO算法。YOLO代表YouOnlyLookOnce，是一种通过将图像分成网格并预测每个网格单元内对象的边界框和类别概率来运行的目标检测算法。它在神经网络中进行一次前向传递，以其速度和实时性而闻名。YOLO能够高效地处理整个图像，同时预测多个对象，因此在各种计算机视觉任务中备受青睐。

在此项目中，进行了YOLOv5、YOLOv7和YOLOv8的测试。在初始实验阶段，YOLOv7实现了更高的准确性。然而，截至当前开发阶段，决定使用Ultralytics的YOLOv8。

使用的数据集

进行了多个数据集的实验，但最终的最佳模型是根据Ultralytics的建议达到的：

每类图像：每类建议≥1500张图像。

每类实例：每类建议≥10000个实例（标记的对象）。

图像多样性：必须代表已部署环境。对于实际用例，建议使用不同时间、不同季节、不同天气、不同光照、不同角度、不同来源（在线抓取、本地收集、不同相机等）的图像。

为了评估之前训练的模型，使用了不同的数据集进行测试，该数据集由安全摄像头的视频帧组成，并进行了预先标记。

使用ByteTrack追踪个体

在追踪人员方面，有各种不同的方法，但它们通常会面临一些问题，比如当人们部分隐藏或改变大小时，跟踪就会出现问题，导致路径分散和身份转变。然而，在当前技术水平上一个有希望的解决方案是ByteTrack，它旨在克服这些追踪问题。

ByteTrack的运作方式

通常，为了追踪多个对象，会使用得分高于某个阈值（如0.5）的检测框。然后，追踪器与这些检测框相关联，基于它们的相似性进行配对。

例如，在上面的图像中，初始化了三个不同的轨迹，因为它们的得分都高于0.5。然而，在遮挡期间，与红色轨迹相关联的检测置信度从0.8降到0.4，然后从0.4降到0.1。由于这些检测框低于阈值，它们被移除，导致红色轨迹消失。

ByteTrack保留所有检测框并将它们分类为两组：得分高和得分低。这种方法分两个阶段进行。在第一阶段，根据运动的相似性（使用交并比）或预测框之间的外观与重新识别功能，将高得分的检测框与轨迹进行匹配。在第二阶段，再次使用运动相似性作为标准，在未配对的轨迹和得分低的检测框之间进行第二次匹配过程。

因此，使用ByteTrack解决了追踪的“如何”问题…但“追踪谁”呢？嗯，最初的想法是追踪离武器最近的人。如果有人靠近武器，他们被视为嫌疑人。但是出现了一个问题，如果武器离受害者很近，追踪会集中在受害者而不是感兴趣的人。

因此，提出的解决方案是识别每个人的手的位置并追踪手最靠近武器的人，即实际持有武器的人。此时，就用到了姿势估计。

姿势估计

为了实现手的识别，使用了一种称为姿势估计的东西。姿势估计是一项计算机视觉任务，涉及在图像和视频中检测人体形象并理解其身体姿态。

有两种方法：自下而上和自上而下。自下而上的方法首先估计每个身体关节，然后将它们组合成一个单一的姿势。另一方面