新一代人工智能：从深度学习到大模型 课件 9. 深度学习图像分割系列专题 .pdf

《新一代人工智能：从深度学习到大模型》

基于深度学习的图像分割专题

主讲人张重生

Part图像语义分割背景介绍

13-1

Segmentation

0、图像语义分割的问题定义

语义分割指在像素级别上，自动理解或预测图像中的每个像素所属的物体类别。

语义分割可以细分为Category-Level和Instance-Level两大类。

前者将同一类型的物体的像素归为一类；后者在前者基础上，再将每个独立的物体进一步分割出来。

1.语义分割(Category-Level)2.实例分割(Instance-Level/Object-Level)

语义分割需要像素级标注的训练数据，如MSCOCO数据集；另外，语义分割跟图像的边缘检测有一定关系。

目标检测和实例分割均有利于Instance-LevelObjectUnderstanding

3

一、图像语义分割中的数据标注(1)

语义分割需要像素级标注的训练数据。其标注成本要远远高于目标检测数据集的标注(框物体之外还含其它背景)

语义分割通常直接标注每个像素的物体类别，或用掩码矩阵形式表示某个物体的像素所在的区域(矩阵中只有0和1)

掩码矩阵中值为1的元素表示该像素属于这个物体，0反之

28*28像素28*28像素

掩码矩阵掩码矩阵

图像中的椅子目标区域对应的像素级标注(掩码)图像中的小男孩目标区域对应的像素级标注(掩码)

注1：如果一幅图像中有多个目标物体，每个像素除了标记为1或0之外，值为1的像素还要再带上物体的种类Category

注2：这种语义分割的数据标注(掩码矩阵)，其实尚不能做到非常精细，尤其是边缘不平滑

4

一、图像语义分割中的数据标注(2)

5

一、图像语义分割中的数据标注(3)

每类物体，一个掩码通道(五个0-1掩码矩阵)6

Part深度学习图像分割技术之全卷积网络FCN

13-2FCN是基于深度学习的图像分割技术的开山之作，初始用于医学图像分割

FCN

一、FCN(FullyConvolutionalNetwork)DL语义分割开山之作

FCN通过若干个1*1*C卷积操作，将传统分类神经网络(如VGG、ResNet)中的全连接层FCLayer替换掉。

如原来的4096维的全连接层FC1，可用4096个1*1*C的卷积操作进行替换。

FCN能够接受任意尺寸的图像输入(而无须将所有图像resize为固定尺寸大小)，但由此后面得到的特征宽高不同

此时可通过subsampling或upsampling操作，将最终的卷积特征变成相同大小。

上采样操作

恢复原大

参考文献:JonathanLongetal.FullyC