深度学习案例教程 教案5.5实践任务-行人目标检测和实例分割讲解.docx

05实践任务-行人目标检测与实例分割

1

我们本节来学习实践任务行人目标检测与实例分割。

行人目标检测与实例分割在生活中可以满足行人安全监控、人流统计、智能交通、行为识别等多个方面的需求，为我们的生活和社会提供更加安全、智能和便利的环境。

主要使用场景有:

1.行人安全与监控

2.行人计数与流量统计

3.自动驾驶与智能交通

4.行人姿态分析与行为识别

5.人机交互与增强现实

2

首先，我们先来看看实践任务所使用的数据集。

Penn-Fudan是由宾夕法尼亚大学发布的一个行人检测数据集，图片拍摄自校园内和城区街道。数据集对每一张图片都标记出了行人的轮廓坐标，每张图片至少会有一个行人，总共有170张图片和345个实例。Penn-Fudan数据集的目录结构如图1所示。数据集中的图片示例如图2所示。

为了更好地使用该数据集，我们需要将它封装成数据集类，以便通过下标索引到图片和标注好的类别、边框和掩码。我们来看一下代码如何实现。

3

这段代码是一个用于处理PennFudan数据集的类PennFudanDataset。

4

-在初始化方法__init__中，它接收一个根目录路径root和一个变换函数transforms作为参数，并将它们保存在实例变量中。

5

-在__getitem__方法中，它根据给定的索引idx加载图像和掩码。

-图像路径和掩码路径通过拼接根目录路径和子目录路径得到。

-图像被打开并转换为RGB格式，而掩码被打开并转换为NumPy数组。

6

-掩码中的每个实例被编码为不同的颜色，其中第一个id是背景，所以移除它。

7

-将颜色编码的掩码拆分为一组二进制掩码

8

-接着，获取每个掩码中非零像素的位置，并计算出边界框的坐标。

9

将边界框坐标、二进制掩码都转换成张量并保存。

10

定义一个空字典对象，将边界框坐标、实例类别、二进制掩码、图像ID、边界框面积等保存到这个对象中。

接着实例化数据集并查看数据。

11

接下来，我们来搭建目标检测模型。

使用视觉工具包torchvision可以快速搭建FasterR-CNN模型，并加载预训练的模型。

下面这段代码就使用了torchvision库来加载在COCO数据集上经过预训练的MaskR-CNN模型。

模型的目标是将图像中的物体进行分割和检测。

12

首先，我们创建了一个model对象，并加载了预训练的ResNet-50FPN权重。

13

然后，我们指定了两个类别:人和背景。

接下来，我们获取了分类器的输入参数数量。

最后，我们用新的FastRCNNPredictor替换了预训练模型的分类器头部，以便进行自定义的分类任务。

14

实践任务3是改造模型以适应新的数据集

我们使用微调预训练的方式使用MaskR-CNN模型。

15

我们需要获取掩码分类器的输入特征数，然后用新的掩码预测器替换。这里的新掩码预测器就是使用的MaskR-CNN模型。

16

然后我们来看下实践任务4调用工具训练模型。

由于数据集比较小，所有我们需要做一些数据增强的工作。下述代码定义了图像变换操作，其实就是随机翻转训练图像。

17

首先，定义数据转换函数get_transform，用于将图像数据转换为模型所需的张量格式，并可选择进行随机水平翻转

18

然后创建训练数据集和测试数据集，

19

将数据集打乱并划分为训练集和测试集

20

接着，创建训练和测试数据加载器，用于批量加载数据进行训练和评估

21

实例化模型并将其移动到适当的设备上

22

定义优化器和学习率调度器，用于优化模型参数和调整学习率

23

迭代训练模型，每个epoch打印训练信息并更新学习率，

然后在测试数据集上进行评估

24

最后实践任务5：评估和测试模型

经过一段时间的运行，最终得到了训练的第1个epoch后的mAP结果。主要的输出包含两部分，即目标检测和实例分割。大家可以看一下相应的结果。

那本节的实践任务-行人目标检测与实例分割就到这里。