车载影像目标检测与分割的辅助驾驶系统.pptxVIP

车载影像目标检测与分割的辅助驾驶系统

-目录一、程序代码及说明01

1一、程序代码及说明

一、程序代码及说明本系统涉及的图片数据集较大，为节约成本，所有项目都在PandlePandle(https：///)飞桨平台上面运行，具体代码结构和功能如下PaddleDetection文件夹：该文件夹是车载影像目标检测代码文件夹，其中configs实现模型初始化和训练的配置，dataset文件夹实现图片获取和图片数据预处理的文件，deploy文件夹实现paddlepaddle平台模型预训练模型部署，ppdet文件夹实现模型网络结构和优化，tools文件夹实现数据加载和模型训练保存等核心功能流程PaddleSeg文件夹：该文件是车载影像语义分割代码文件夹，其中configs文件夹是影像语义分割模型的配置参数，paddleseg文件夹是语义分割模型的定义代码，tools文件夹实现了具体的分割步骤，train.py是语义分割模型的训练代码，val.py是模型的验证代码，predict.py是语义分割模型的测试代码PaddlePrediction文件夹：该文件夹是系统的测试代码，其中demo_data是测试图片，preprocess.py是加载预处理测试图片代码，predict.py是预测代码

一、程序代码及说明traffic_detection_demo文件夹：该文件夹是模型部署移动端的代码，app文件夹是应用程序的主库文件夹，perties文件是app配置信息，gradlew.bat、gradlew、perties和build.gradle完成app应用的安装部署

一、程序代码及说明二、程序优化度本系统对单张图片的目标检测与分割的时间平均在1-2秒以内，在Android端检测速度受硬件影响，稍有下降，在4-5秒以内本系统对于程序的优化主要有4个方面

一、程序代码及说明(1)图片数据预处理进行数据增强，通过对图片数据的放大、旋转转、颜色转换和翻转等操作，将图片目标检测的准确率提高了8%左右(2)本系统采用的是PP-YOLO2进行目标检测，该算法综合性能优于YOLOv5，本系统在初始化模型时使用Mish激活函数进行非骨干网络的激活，使用IoU参数进行置信度计算，加入部分噪声点通过DropBlock参数提升模型在不同图片上的泛化能力(3)本系统采用HardNet模型进行语义分割，该模型的突出的特点是低内存占用率，本系统在初始化HarDNet模型时考虑了图像位置权重，将mask参数设置为True以通过对mask标签求stride=1的平均池化绝对值，用该矩阵为图像位置权重进行交叉熵损失和交并比损失的计算，从而使损失函数表征更精确

一、程序代码及说明(4)Android端部署和模型识别优化，系统在训练时保存最优的完整模型，在部署到Android时将模型压缩以节省空间，在模型加载时可以直接加载预测识别图片和视频，不需要额外加载参数甚至重新训练模型，在最短时间内获取最好的预测效果

一、程序代码及说明三、数据预处理方法3.1数据集该项目使用的数据据来源于外部数据集，共18000张图片。其中图像数据集包含机动车、非机动车、行人、斑马线和实车道线、虚车道线、等多个识别对象。本数据集部分图片可提供给不同识别对象共同使用，因此在本项目中上述识别对象的图片数量依次为6000，5000，4000，4000，5000，4000

一、程序代码及说明1图3-1图片文件23.2图像放大3本文使用数据集类型属于COCO数据集，其主要分为图片和描述物体位置的JSON坐标标注文件，图片与JSON文件一一对应，JSON文件主要描述机动车，非机动车，车道线等坐标、宽、高。为提取更为丰富的图片特征，需要图片尺寸为224224，转换寸，同时图片对应的JSON标注文件的坐标、宽、高也进行对应比例的增大4使用开源技术Pillow进行图片放缩，使用全局放缩，用下采样过滤插值法实现，效果如图所示

一、程序代码及说明对JSON文件中坐标、宽高进行缩减，公式X轴Y轴宽

一、程序代码及说明1高2转换效果33.3数据集划分4本文将数据集划分为训练集、验证集和测试集，以便进行模型训练和评估，具体比率如下5需要注意的是，在进行数据集划分时，需要确保数据集的随机性和代表性，以避免模型的过拟合或欠拟合问题，并且Json标注文件需要一起划分。此外，还需要考虑数据集的平衡性，以确保模型能够对各种类型的目标进行准确识别和分割

一、程序代码及说明3.4数据增强数据增强是指通过对原始数据进行一系列有规律的变换，来生成更多的训练数据。在车载影像目标检测与分割的辅助驾驶系统中，数据增强可以有效地提高模型的泛化能力和鲁棒性，从而提高系统的准确性和可靠性本文使用的数据增强方法如下(1)