图像分割算法原理及工作流程.docxVIP

算法原理

基于深度学习的图像分割算法属于图像处理领域最高层次的图像理解范畴。所谓图像分割就是把图像分割成具有相似的颜色或纹理特性的若干子区域，并使它们对应不同的物体或物体的不同部分的技术。这些子区域，组成图像的完备子集，又相互之间不重叠。

1、传统分割方法

图像分割问题最早来自于一些文本的分割，医学图像分割。在文本图像分割中，需要切割出字符，常见的问题包括指纹识别，车牌识别；由于这一类问题比较简单，因为基于阈值和聚类的方法被经常使用。基于阈值和聚类的方法虽然简单，但因此也经常失效。以graphcut为代表的方法，是传统图像分割里面鲁棒性最好的方法。Graphcut的基本思路，就是建立一张图，其中以图像像素或者超像素作为图像顶点，然后移除一些边，使得各个子图不相连从而实现分割。图割方法优化的目标是找到一个切割，使得移除边的和权重最小。

2、深度学习方法：

全卷积神经网络(FullyconnectedNetwork)是第一个将卷积神经网络正式用于图像分割问题的网络。一个用于分类任务的深度神经网络通过卷积来不断抽象学习，实现分辨率的降低，最后从一个较小的featuremap或者最后的特征向量，这个featuremap通常为5*5或者7*7等大小。而图像分割任务需要恢复与原尺度大小一样的图片，所以，需要从这个featuremap恢复原始图片尺寸，这是一个上采样的过程。由于这个过程与反卷积是正好对应的逆操作，所以我们通常称其为反卷积。代表算法有FCN、Unet、Deeplab等。

3、深度学习算法较之传统分割算法的优势：

（1）学习能力强：深度学习自动提取低层次或者高层次特征，具有较强的学习能力。

（2）覆盖范围广，适应性好：深度学习的神经网络层数很多，宽度很广，理论上可以映射到任意函数，所以能解决很复杂的问题。

（3）数据驱动，上限高：深度学习高度依赖数据，数据量越大，它的表现就越好。在图像识别、面部识别、NLP等部分任务甚至已经超过了人类的表现。同时还可以通过调参进一步提高它的上限。?????

（4）可移植性好：由于深度学习的优异表现，有很多框架可以使用，例如TensorFlow、Pytorch。这些框架可以兼容很多平台。

传统分割方法中特征提取主要依赖人工设计的提取器，需要有专业知识及复杂的调参过程，同时每个方法都是针对具体应用，泛化能力及鲁棒性较差。存储开销大，计算效率低下，识别速度较慢。

深度学习主要是数据驱动进行特征提取，根据大量样本的学习能够得到深层的、数据集特定的特征表示，其对数据集的表达更高效和准确，所提取的抽象特征鲁棒性更强，泛化能力更好，并且可以是端到端的。

4、Unet算法

本项目使用了基于深度学习的Unet网络：Unet网络由两部分组成，前半部分作用是特征提取（基础模型为MobileNet），后半部分是上采样。在一些文献中也把这样的结构叫做编码器-解码器结构。由于此网络整体结构类似于大写的英文字母U，故得名Unet。

Unet与其他常见的分割网络有一点非常不同的地方：Unet采用了完全不同的特征融合方式：拼接，Unet采用将特征在channel维度拼接在一起，形成更厚的特征。而FCN融合时使用的对应点相加，并不形成更厚的特征。

所以语义分割网络在特征融合时有两种办法：

（1）FCN式的对应点相加，对应于TensorFlow中的tf.add()函数；

（2）Unet式的channel维度拼接融合，对应于TensorFlow的tf.concat()函数，比较占显存。

除了上述新颖的特征融合方式，Unet还有以下几个优点：

（1）5个poolinglayer实现了网络对图像特征的多尺度特征识别。

（2）上采样部分会融合特征提取部分的输出，这样做实际上是将多尺度特征融合在了一起，以最后一个上采样为例，它的特征既来自第一个卷积block的输出（同尺度特征），也来自上采样的输出（大尺度特征），这样的连接是贯穿整个网络的，可以看到上图的网络中有四次融合过程，相对应的FCN网络只在最后一层进行融合。

数据集准备

深度学习模型的精确度一般依赖于数据集的大小，CNN要求用于训练的数据集足够大，能够覆盖问题域中所有已知可能出现的问题。设计CNN的时候，数据集包含三个子集：训练集、测试集、验证集。

1、训练集：包含问题域中的所有数据，并在训练阶段用来调整网络的权重。

2、测试集：在训练的过程中用于测试网络对训练集中未出现数据的检测性能，根据网络在测试集上的性能情况，网络的结构可能需要做出调整，或者增加训练循环次数。

3、验证集：验证集中的数据统一应该包含在测试集和训练集中没有出现过的数据，用于在网络确定之后能够更好的测试和衡量网络的性能。

数据预处理与参数设置

1、数据预处理

为了加速训练的收敛速度，一般都会采用一些