图像处理算法及其Python实践 课件 第5--9章 图像分割---图像描述 .pptx

第5章图像分割

5.1概述5.2图像分割常用数据集5.3图像分割的常用方法5.4图像分割实战

5.1概述

5.1概述随着通信技术和硬件设备发展，图像在生活和生产中愈发重要，图像处理需求增加。人工智能兴起让机器拥有人类感知、理解和决断能力成研究热点，计算机视觉就是对生物视觉进行模拟。计算机视觉有三大分类任务：包括图像分类、目标检测和图像分割。图像分类为图像分配类别标签；目标检测需更强理解能力，识别类别并标记对象位置；图像分割主要有语义分割、实例分割和全景分割。图像语义分割将目标分类并标记像素，形成不同区域；实例分割更复杂，完成分割和目标检测，对同类不同目标分配不同语义标签；全景分割在实例分割基础上还对背景分割。图5-1计算机视觉三大分类

5.1概述图5-23种分割的效果

5.1概述由于语义分割能够对像素级别的信息进行理解分析，使得计算机不仅能够预测出图像中存在的物体类别，而且还能够预测到每个类别的具体位置，这就为计算机的决策提供了重要的先决条件。语义分割在现实生活中对需要用到图像理解的领域有着重要作用，例如在无人驾驶汽车、地理信息系统、医疗图像分析、农业等领域有很多实用价值，如图5-3所示。图5-3语义分割在不同场景中的应用

5.1概述图像分割方法计算机视觉领域中，图像分割方法经过长时间的发展后可以归纳为两大类：一类是基于人工提取特征的传统图像分割方法；一类是基于深度卷积神经网络提取特征的图像语义分割方法。

5.1概述传统的图像分割方法：基于阈值、边缘检测、区域和图论等四类方法。基于阈值的图像分割方法：选取一个或多个合适的阈值，通过比较阈值和像素灰度值将图像分类，常用方法有基于均衡直方图方法、基于最大熵方法、自适应阈值法。基于边缘检测的图像分割方法：利用图像中不同区域边缘像素灰度值突变分割图像，常用方法有基于梯度算子和Hough变换的方法。基于区域的图像分割方法：一种是相似相邻像素逐步合并为一个区域，代表方法是区域生长法；另一种是将大区域或整张图像逐步切割至所需分割区域，代表方法是区域分裂法。

5.1概述基于图论的图像分割方法：为图像建立有权重的无向图，根据边的权值切割为若干子集，同一子集中的点相似度高，不同子集的点相似度低。 传统方法有什么缺点和局限？对图像要求高，只能针对特定要求的图像，对复杂场景的图像处理效果差，存在一定局限性。

5.1概述卷积神经网络：随着深度学习的兴起，卷积神经网络（CNN）的出现极大地改变了图像分割的方法。2014年JonathanLong等人在VGG（VisualGeometryGroupNet）网络的基础上提出了全卷积神经网络（FullyConvolutionalNetwork，FCN），FCN将VGG网络的全连接层替换为卷积层，使得FCN能够处理任意分辨率的输入图像，然后采用反卷积将低分辨率的特征图恢复为输入图像大小，实现了端到端的语义分割，同时为了解决下采样过程中分辨率由高到低这个过程中空间信息的丢失，在上采样时使用跳跃连接恢复在下采样过程中丢失的空间特征信息。FCN作为首个使用卷积神经网络实现图像语义分割的方法，在图像语义分割方法研究上占有极其重要的地位。

5.1概述FCN的缺点：没有利用全局上下文信息，小卷积核在复杂场景下提取局部特征易造成对全局理解偏差；随着不断卷积和池化，空间信息丢失严重，虽有长跳跃连接在上采样阶段恢复空间特征信息，但上采样跨度大且对下采样路径中的高分辨率特征利用不够，导致恢复的空间信息不充分。

5.1概述感受野：感受野是卷积神经网络每一层输出的特征图上的像素点在原始输入图像上的映射的区域大小。感受野大小粗略地表明使用上下文信息的程度，大卷积核虽感受野大但有缺点。Google团队提出DeepLab系列模型，其中DeepLab--v1采用膨胀卷积扩大感受野，提升计算速度和准确率；DeepLab--v2提出ASPP模型，用不同膨胀率卷积核捕获多感受野信息并融合特征，还更换了特征提取网络；DeepLabV3++对ASPP进行改进，应用深度可分离卷积降低计算量。此外，为提高分割效果，PSPNet按金字塔结构融合多尺度特征图获取全局信息，RefineNet用级联反卷积网络获得多尺度上下文信息。

5.1概述注意力机制计算机视觉中使用注意力机制来分配计算资源，以获得更有价值的上下文信息。SENet和CBAM是使用注意力机制的代表网络。SENet采用挤压激励模块计算通道权重增强网络表达能力CBAM在通道和空间维度设计注意力模块推断像素信息。 存在的问题？卷积运算存在局限，不能获得远距离像素关系且会增加计算量、降低效率，还会弱化与远距离像素建立的关系。下面提出一种优化网络：

5.1概述NLNe