语义分割及应用.pptVIP

语义分割及应用人工智能技术基础及应用12023/5/6 7.1 语义分割的基本概念7.1.1语义分割任务描述语义分割结合了图像分类、目标检测和图像分割，通过一定的方法将图像分割成具有一定语义含义的区域块，并识别出每个区域块的语义类别，实现从底层到高层的语义推理过程，最终得到一幅具有逐像素语义标注的分割图像。人工智能技术基础及应用22023/5/6 7.1 语义分割的基本概念语义分割的输入与输出语义分割的输入图像一般为具备h×w×3的维度的RGB彩色图像，或者具备h×w×1维度的灰度图像，分割后的输出是一个h×w×1维由整数类别标号组成的矩阵，语义分割的输出与原图像对应关系如下图所示：人工智能技术基础及应用32023/5/6 7.1 语义分割的基本概念独热编码语义分割中一般采用独热编码（One-Hot）对类别进行标号，每个类别拥有一个编码通道，如右图所示。人工智能技术基础及应用42023/5/6 7.1 语义分割的基本概念图像的分割预测可以使用argmax函数对每个像素操作形成分割图，把分割图覆盖到与原图像上，每个类别通道将形成一个遮掩（mask）叠加后加亮相应类别区域人工智能技术基础及应用52023/5/6 7.1 语义分割的基本概念实例分割和全景分割实例分割将语义分割向前推进了一步，将其与目标检测结合，旨在将多个对象与单个类区分开来。相对目标检测的边界框，实例分割可精确到物体的边缘；相对语义分割，实例分割需要标注出图上同一物体的不同个体。全景分割是语义分割和实例分割的结合，与实例分割不同的是：实例分割只对图像中有标签的类别进行检测，并对检测到的物体进行分割，而全景分割是对图中的所有物体包括背景都要进行检测和分割人工智能技术基础及应用62023/5/6 7.1 语义分割的基本概念a 原图像b 语义分割c 实例分割d 全景分割人工智能技术基础及应用72023/5/6 7.1 语义分割的基本概念7.1.2 上采样在图像分割中，模型需要产生全分辨率的语义预测，所以，语义分割的常用方法是一种编码器/解码器结构，我们通过编码器对输入的空间分辨率进行下采样，形成低分辨率的特征映射，此时类别之间具有更高效的区分度；通过解码器将特征表达进行上采样，还原到全尺寸的分割图中，使得网络能够进行像素级别的输出人工智能技术基础及应用82023/5/6 7.1 语义分割的基本概念与对特征图进行下采样的池化和跨步幅卷积操作对应，上采样的实现主要依赖于反池化和转置卷积，此外，有些较早的网络中使用的则是插值法实现上采样。人工智能技术基础及应用92023/5/6 7.1 语义分割的基本概念插值法（1）最近邻插值（Nearest Neighbor）人工智能技术基础及应用102023/5/6（2）双线性插值与对特征图进行下采样的池化和跨步幅卷积操作对应，上采样的实现主要依赖于反池化和转置卷积，此外，有些较早的网络中使用的则是插值法实现上采样。 7.1语义分割的基本概念1）最近邻插值最近邻插值法（Nearest Neighbor Interpolation）又称零阶插值，将目标图像按照缩放系数缩放到原图像的大小，找到待插值点缩放后在原图像中的位置，取原图像中与这个位置最近点的值赋值给待插值点，最近邻不需要计算只需要寻找，所以速度最快，但是新图像局部破坏了原图的渐变关系。人工智能技术基础及应用112023/5/6 7.1 语义分割的基本概念2）双线性插值双线性插值是最近邻插值的改进，将目标图像按照缩放系数缩放到原图像大小，计算待插值点在缩放后的位置，使用离该位置最近的四个点依次对x,y两个方向进行插值。人工智能技术基础及应用122023/5/6 7.1 语义分割的基本概念反池化“反池化”(Unpooling）操作使用单一值来填充局部区域来扩充输出的宽高,池化主要有最大池化和平均池化，其反池化也对应地有反平均池化和反最大池化。反平均池化的操作比较简单，首先还原成原来的大小，然后将池化结果中的每个值都填入其对应于原始数据区域中的相应位置即可。反最大池化会复杂一些。要求在池化过程中记录最大激活值的坐标位置，然后在反池化时，只把池化过程中最大激活值所在位置坐标的值激活，其他的值置为零。人工智能技术基础及应用132023/5/6 7.1 语义分割的基本概念转置卷积如果想让上采样像卷积一样从数据中学习得到更好的效果，需要使用转置卷积，右图为双三次线性插值与使用转置卷积的超分辨率网络效果对比人工智能技术基础及应用142023/5/6 7.1 语义分割的基本概念回顾经典卷积中输出特征图与输入特征图的尺寸关系如下：其中o为输出特征图尺寸，i为输入特征图尺寸，p为填充，s为步幅，k为卷积核尺寸。人工智能技术基础及应用152023/5/6 7.1 语义分割的基本概念首先考虑转置卷积步幅s’为