13-目标识别与目标分割.pptxVIP

目标识别与目标分割

图像处理

2021年;;1.基本概念;2.常用模型;2.常用模型;2.常用模型;2.常用模型;2.常用模型;2.常用模型;2.常用模型;2.常用模型;2.常用模型;2.常用模型;SPP(SpatialPyramidPooling)Net

结合空间金字塔方法实现CNNs的多尺度输入

一般CNNs后接full-connectlayer或者classifier,它们都需要固定的输入尺寸。因此不得不对输入数据进行crop或warp,这些预处理会造成数据的丢失或几何学上的失真.SPPNet的第一个贡献是将空间金字塔的思想加入到CNNs中,实现了数据的多尺度输入。;2.常用模型;2.常用模型;2.常用模型;2.常用模型;Faster-RCNN整体框架;YOLO(Youonlylookonce)

YOLO的核心思想就是利用整张图作为网络的输入,直接在输出层回归boundingbox(边界框)的位置及其所属的类别。

fasterRCNN中也直接用整张图作为输入,但是faster-RCNN整体还是采用了RCNN那种proposal+classifier的思想,只不过是将提取proposal的步骤放在CNN中实现了。

;YOLO

YOLO检测网络包括24个卷积层和2个全连接层。其中,卷积层用来提取图像特征,全连接层用来预测图像位置和类别概率值。

YOLO网络借鉴了GooqLeNet分类网络结构,不同的是,YOLO未使用inceptionmodule,而是使用1x1卷积层(此处1x1卷积层的存在是为了跨通道信息整合)+3x3卷积层简单替代。;YOLO

YOLO将输入图像分成SxS个格子,每个格子负责检测落入该格子的物体。若某个物体的中心位置的坐标落入到某个格子,那么这个格子就负责检测出这个物体。

每个格子输出B个boundingbox(包含物的矩形区域)信息以及C个物体属于某种类别的概率信息。

Boundingbox信息包含5个数据值,分别是x,y,w,h,和confidence，其中x,y是指当前格子预测得到的物体的boundingbox的中心位置的坐标。w,h是boundingbox的宽度和高度。confidence反映当前boundingbox是否包含物体以及物体位置的准确性

confidence=P(object)*IOU;YOLO

YOLO的局限性

由于输出层为全连接层,因此在检测时,YOLO训练模型只支持与训练图像相同的输入分辨率。

虽然每个格子可以预测B个boundingbox,但是最终只选择只选择IOU最高的boundingbox作为物体检测输出,即每个格子最多只预测出一个物体。当物体占画面比例较小,如图像中包含畜群或鸟群时,每个格子包含多个物体,???却只能检测出其中一个。;采用MITpedestriandetectiondatabase基于VGG16的FasterRCNN实验结果;3.应用;3.应用;自动驾驶

自动驾驶汽车是自动决策系统，它处理来自不同车载来源的观测流，如摄像头、雷达、激光雷达、超声波传感器、GPS装置和/或惯性传感器。汽车的计算机利用这些观察结果用来驾驶决策。

驾驶决策可以在模块化的感知-计划-执行流水线(左下图(a))中计算，也可以在端到端学习方式(左下图(b))中计算，其中感知信息直接映射到控制输出。;