使用YOLOV5训练自动驾驶目标检测网络.docVIP

使用YOLOV5训练自动驾驶目标检测网络 前言： 本文会详细介绍YOLO V5的网络结构及组成模块，并使用YOLO V5s在BDD100K自动驾驶数据集上进行迁移学习，搭建属于自己的自动驾驶交通物体对象识别网络。 YOLO 是一种快速紧凑的开源对象检测模型，与其它网络相比，同等尺寸下性能更强，并且具有很不错的稳定性，是第一个可以预测对象的类别和边界框的端对端神经网络。YOLO 家族一直有着旺盛的生命力，从YOLO V1一直到”V5“，如今已经延续五代，凭借着不断的创新和完善，一直被计算机视觉工程师作为对象检测的首选框架之一。 Ultralytics于5月27日发布了YOLOv5 的第一个正式版本，其性能与YOLO V4不相伯仲，是现今最先进的对象检测技术之一，并在推理速度上是目前最强。 我在前一篇文章：一文读懂YOLO V5 与 YOLO V4，介绍了YOLO V5和YOLO V4的原理，相似点及区别。 在本文章中，我会详细介绍YOLO V5的网络结构及组成模块，并使用YOLO V5s对BDD100K自动驾驶数据集进行迁移学习，使得训练出的模型能够识别包括交通灯颜色在内的所有交通对象。 本文分成两块：模型结构及迁移学习 Model architecture Overview Focus BottleneckCSP SPP PANET Transfer learning Data prepration Setup enviorment Configuration Modify model architecture Transfer learning theory Inference 1 Model architecture 1、Overview YOLO网络由三个主要组件组成： 1）Backbone：在不同图像细粒度上聚合并形成图像特征的卷积神经网络。 2）Neck：一系列混合和组合图像特征的网络层，并将图像特征传递到预测层。 3）Head：对图像特征进行预测，生成边界框和并预测类别。 本文主要采用YOLO V5 1.0结构，7月23日作者更新了2.0版本代码，对于模型定义做了些改变，我会后续进行更新。 YOLO V5 1.0中用到的重要的模块包括Focus，BottleneckCSP，SPP，PANET。模型的上采样Upsample是采用nearst两倍上采样插值。值得注意的是YOLO V5 1.0最初为COCO数据集训练的Pretrained_model 使用的是FPN作为Neck，在6月22日后，Ultralytics已经更新模型的Neck为PANET。网上很多的YOLO V5网络结构介绍都是基于FPN-NECK，本文的模型训练是基于PANET-NECK，下文中只介绍PANET-NECK。 对于YOLO V5，无论是V5s，V5m，V5l还是V5x其Backbone，Neck和Head一致。唯一的区别在与模型的深度和宽度设置，只需要修改这两个参数就可以调整模型的网络结构。V5l 的参数是默认参数。 depth multiple是用来控制模型的深度，例如V5s的深度是0.33，而V5l的深度是1，也就是说V5l的Bottleneck个数是V5s的3倍。 width_multiple是用来控制卷积核的个数，V5s的宽度是0.5，而V5l的宽度是1，表示V5s的卷积核数量是默认设置的一半，当然你也可以设置到1.25倍，即V5x。例如下面YOLO V5的yaml文件中的backbone的第一层是?[[-1, 1, Focus, [64, 3]]，而V5s的宽度是0.5，因此这一层实际上是[[-1, 1, Focus, [32, 3]]。 from列参数：-1 代表是从上一层获得的输入，-2表示从上两层获得的输入（head同理）。 number列参数：1表示只有一个，3表示有三个相同的模块。 下图为YOLO V5 1.0的网络结构图(默认对应YOLO V5l)，引用自Laughing-q。 下图中存在三种括号，其中 In_channel：输入通道，out_channel：输出通道，Kernel_size：卷积核大小，Stride：步长，x N代表此模块的叠加次数，方框外数字：depth x weight x height，默认输入为宽高为640x640的三通道图像。 下文我将详细讲述Focus，BottleneckCSP，SPP，PANET这几个重要模块，由于本项目使用YOLO V5s网络结构训练模型，因此下文中的网络图及实例都基于YOLO V5s，并且输入图像为3x640x640。YOLO V5默认depth_multiple=0.33， width_multiple=0.50。即BottleneckCSP中Bottleneck的