第8章 计算机视觉应用——语义分割.pptx

第8章计算机视觉应用——语义分割

目录CONTENTS8.1图像语义分割介绍8.2DeepLabV3+网络的基本原理8.3模型训练与评估

第8章计算机视觉应用———语义分割图像语义分割是计算机视觉的一项重要任务。作为视觉智能方向最重要的基础性技术之一,语义分割的效果关系着智能系统对其应用场景的理解能力,因此在诸如无人驾驶、机器人认知、医疗影像分析、三维重建、人机交互、虚拟现实等领域均具有较大的应用价值。深度学习在计算机视觉领域的突破性进展为图像语义分割技术带来了新的机遇,涌现出了一大批基于全卷积神经网络(FCN)的优秀语义分割模型,其中以DeepLab系列网络最为经典。本章将依次介绍语义分割的基础知识及经典的DeepLab网络结构。

图像语义分割介绍8.1

图像语义分割是计算机视觉中重要的基本问题之一,它的目标是对图像的每个像素点进行分类,将图像划分为若干个区域,成为具有一定语义含义的区域块,使得不同种类的物体在图像上被区分开来,并且都具有各自的视觉意义,给予它们不同的视觉语义标签后,最终得到一幅具有逐像素语义标注的分割图像,以利于后续的图像分析和视觉理解。小知识颜色分割是图像处理中的一种重要技术，可以将图像中的不同颜色分割出来。8.1图像语义分割介绍8.1.1图像语义分割概述

相较于图像分类和目标检测任务,语义分割具有其独特之处。以下是这三者的具体比较。8.1图像语义分割介绍（1）图像分类。图像分类是通过分析图像的整体内容来识别其所属的类别。（2）目标检测。目标检测任务不仅需要识别图像中的内容,还需要确定目标对象在图像中的位置。（3）语义分割。语义分割任务要求模型对图像进行更深入的分析,识别图像中的各个对象,并为其分配相应的标签。此外,语义分割不仅需要确定对象的位置,还需要识别对象的详细形状和结构。

在图像领域,语义具体指的是图像内容,即对图像的理解,如图8-1所示,该图像中的语义就是人骑着自行车。语义分割就是从像素的角度分割出图像中的不同对象,因此也可以理解成像素级别的分类任务。对图8-1中的每个像素都进行分类标注,得到最终语义分割图,其中,粉红色代表人,绿色代表自行车,背景为黑色。8.1图像语义分割介绍

语义分割是从粗推理到精推理的自然步骤,它不仅提供了不同类别的预测,还提供了关于这些类别的空间位置的附加信息。从宏观上看,语义分割作为一项高层次的任务,为实现场景的完整理解铺平了道路。场景理解作为一个计算机视觉的核心问题,其重要性在于越来越多的智能系统通过从图像中推断知识来提供信息。图像语义分割对于场景理解的重要性日渐突出,已经被广泛应用到无人驾驶、医疗影像分析等重要领域中,如图8-2和图8-3所示。如果能够快速且十分准确地对一幅复杂图像进行语义分割,那么现如今智能视觉研究方向面临的很多问题将会迎刃而解,因此语义分割技术逐步成了计算机视觉的一个研究热点。8.1图像语义分割介绍小知识医疗影像分析是计算机视觉在医疗领域的重要应用，可以用于疾病诊断、手术导航等。

8.1图像语义分割介绍

8.1图像语义分割介绍

8.1.2图像语义分割的发展对计算机来说,语义信息和离散数据之间一直存在着一条“语义鸿沟”,即图片的低级细节信息无法与高级语义信息直接建立关系,从而导致一些传统的图像分割算法想获得可接受的分割结果就不得不依赖于人工信息的辅助,且分割后缺乏高层的语义信息。但深度学习的应用打破了这一条“鸿沟”:卷积神经网络可以通过学习来获得高层的语义信息。深度学习在计算机视觉领域不断取得突破进展,为图像语义分割技术带来了新的机遇。8.1图像语义分割介绍

2014年相关论文提出的全卷积神经网络(FCN)开辟了深度学习在图像语义分割中的应用,获得了2015年度计算机视觉与模式识别会议(CVPR)的最佳论文。简单地说,全卷积神经网络(FCN)与卷积神经网络(CNN)的最大区别在于FCN把应用于分类任务的CNN(如VGG16)最后的全连接层全部替换成了卷积层,以获得抽象的特征图,如图8-4所示。进一步说,应用于分类任务的CNN输入是图像,输出是一个结果,或者说是一个概率值,而FCN是从抽象的特征中继续上采样来恢复出每个像素所属的类别,即从图像级别的分类进一步延伸到像素级别的分类。这样,FCN可以学习从输入图像到输出图像的直接映射关系,而不需要显式地定义每个像素的类别,如图8-5所示。8.1图像语义分割介绍

8.1图像语义分割介绍

8.1图像语义分割介绍

FCN作为深度学习应用于图像语义分割的开山之作,自然无法避免地存在很多问题。例如,精度不够高,对细节不敏感,以及忽略了空间一致性等,之后的各种优秀语义分割网络模型都在FCN的基础上融入了各自新的结构,并以不同解决方式改善了这些问题。例如,U-Net