目录FCN的贡献FCN的核心思想72课件.pptxVIP

目录;6.1.1全卷积神经网络（FCN）原理与结构

全卷积网络(FCN-FullyConvolutionalNetwork)是深度学习在语义分割领域的开创性工作，它首次提出了端到端训练的像素级预测方法。

传统CNN用于分类的问题:传统CNN（如AlexNet,VGG）的末尾通常包含一个或多个全连接层。这些全连接层要求输入具有固定的尺寸（因为全连接层的权重矩阵大小是固定的），并且它们会丢失输入图像的空间信息，最终输出一个类别向量，而不是像素级的预测图。

?FCN的核心思想:

1.全卷积化(FullyConvolutional):

?将传统CNN（如VGG16,ResNet等分类网络作为骨干）中的所有全连接层替换为等效的1x1卷积层。

?例如，一个连接到`hxwxd`特征图的全连接层，如果输出`N`个单元，可以被一个具有`N`个`hxwx1`大小的滤波器的1x1卷积层（或者更直接地，一个具有`N`个`1x1xd`大小的滤波器的1x1卷积层，如果前一层特征图是`hxwxd`且被展平了）所替代。这样做的结果是，网络现在可以接受任意尺寸的输入图像，并输出一个与输入空间维度相关的粗糙的像素级预测图（热力图）。

;2.上采样/反卷积(Upsampling/Deconvolution/TransposedConvolution):

?由于CNN中的卷积和池化操作会不断减小特征图的空间分辨率（下采样），FCN需要一种方法将这些低分辨率但语义信息丰富的特征图恢复到原始输入图像的尺寸，以便进行像素级的预测。

?上采样方法:

?双线性插值(BilinearInterpolation):一种简单的、固定的（不可学习的）上采样方法。

?反卷积/转置卷积(Deconvolution/TransposedConvolution):这是一种可学习的上采样层。它不是真正的卷积的逆运算，而是与卷积运算在输入输出尺寸关系上相反的一种操作。它可以看作是在输入特征图的像素之间插入0，然后进行一次正常的卷积（使用可学习的权重）。通过合适的参数（核大小、步长、填充），它可以将低分辨率特征图放大。;3.跳跃连接/融合多层特征(SkipConnections/FeatureFusion):

?深层网络提取的特征语义信息更强，但空间位置信息比较粗糙（因为经过多次下采样）。浅层网络提取的特征空间位置信息更精确，但语义信息较弱。

?FCN通过引入跳跃连接，将来自较浅层（??辨率较高）的特征图与经过上采样后的较深层（语义较强）的特征图进行融合（通常是逐元素相加或通道拼接），从而使得最终的预测既具有强语义信息，又具有较好的空间定位精度。

?FCN论文中提出了FCN-32s,FCN-16s,FCN-8s等不同程度融合的版本：

?FCN-32s:只对最后一层卷积层（如VGG的pool5之后的fc7转成的卷积层）的输出进行32倍上采样直接得到结果。效果较粗糙。

?FCN-16s:将pool5上采样2倍后，与pool4层的输出（具有相同分辨率）进行融合，然后再进行16倍上采样。

?FCN-8s:在FCN-16s的基础上，再将融合结果上采样2倍，与pool3层的输出融合，最后再进行8倍上采样。;5;THANKS!