深度学习基础与实践 课件 2.3.2模型的欠拟合与过拟合（下）.pptx

模型的欠拟合与过拟合（下）

03模型拟合问题解决办法过拟合的缓解办法一些过拟合的缓解办法：增加典型数据，从数据源头获取更多数据；数据增强（DataAugmentation）：又名数据扩增，在不影响数据实质的情况下，让有限的数据产生更多的价值；。Dropout，在训练过程中，每次临时删除模型中的部分节点对其余节点进行训练，不断重复此过程。简化模型，减少网络的层数、神经元个数等均可以限制网络的拟合能力。正则化，添加惩罚项，对复杂度高的模型进行“惩罚”，限制权值变大。限制训练时间(earlystoptraining)，设置阈值，限制训练时间。数据清洗(datacleaning/Pruning)：将错误的label纠正或者删除错误的数据。结合多种模型，用不同的模型拟合不同部分的训练集。

03模型拟合问题解决办法数据增强（DataAugmentation）数据增强相关方法Translation：移位；Horizontal/VerticalFlip：水平/垂直翻转；RandomScale：尺度变换；Rotation：旋转变换；Noise：高斯噪声、模糊处理；RandomCrop：采用随机图像差值方式，对图像进行裁剪；包括尺度和长宽比增强变换；ColorJittering：对颜色的数据增强：图像亮度、饱和度、对比度变化；PCAJittering：首先按照RGB三个颜色通道计算均值和标准差，再在整个训练集上计算协方差矩阵，进行特征分解，得到特征向量和特征值，用来做PCAJittering；

模型拟合问题解决办法03数据增强（DataAugmentation）--移位（Translation）移位只涉及沿X或Y方向（或两者）移动图像。在下面的示例中，我们假设图像在其边界之外具有黑色背景，并且被适当地移位。这种增强方法非常有用，因为大多数对象几乎可以位于图像的任何位置。这使你的卷积神经网络看到所有角落。原图水平移位水平和垂直同时移位

03模型拟合问题解决办法数据增强（DataAugmentation）--水平/垂直翻转（Horizontal/VerticalFlip）可以对图片进行水平和垂直翻转。一些框架不提供垂直翻转功能。但是，一个垂直反转的图片等同于图片的180度旋转，然后再执行水平翻转。下面是我们的图片翻转的例子。垂直翻转水平翻转原图

03模型拟合问题解决办法数据增强（DataAugmentation）--尺度变换（Scale）尺度变换就是图像缩放，对图像按照指定的尺度因子,进行放大或缩小。以下是图像缩放的示例。原图按比例缩放

03模型拟合问题解决办法数据增强（DataAugmentation）--旋转变换（Rotation）原图旋转变换值得注意的是，旋转变换往往需要配合尺度变换，否则容易使得我们的目标图像超出我们的边界。在部分框架中旋转变化在函数会自带缩放相关的参数。旋转变换表示旋转图像一定角度，改变图像内容的朝向旋转。如图展示了原图经过旋转变换的示例图。

03模型拟合问题解决办法数据增强（DataAugmentation）-- 噪声（Noise）高斯噪声（GaussianNoise），是指图像中的噪声服从高斯分布。也就是大多数像素点都与无噪声图像中的对应点相差不大，相差越大的情况越少。椒盐噪声也称为脉冲噪声，是指图像中随机出现全亮点和全暗点的情况，看起来就像是往图像中撒了黑色胡椒和白色的盐。原图高斯噪声椒盐噪声

03模型拟合问题解决办法数据增强（DataAugmentation）--抖动JitteringColorJittering色彩抖动：色彩抖动是指对图像的亮度、饱和度（saturation）和色调（hue）进行随机变化形成不同光照及颜色的图片，达到数据增强的目的，尽可能使得模型能够使用不同光照条件的情形，提高模型泛化能力。PCAJittering：PCAJittering是实际上对RGB颜色空间添加扰动，从而达到对RGB颜色添加噪声的目的，具体为对RGB空间做PCA，然后做一个(0,0.1)的高斯扰动。最早使用是在2012年的AlexNet，从论文实验中可以看出，PCAjittering对于分类的性能提升比较显著。原图ColorJitteringPCAJittering

03模型拟合问题解决办法Dropout介绍Dropout的思想其实非常简单：对于网络的每一层，随机的丢弃一些单元。正是因为在每一层随机地丢弃了一些单元，所以相当于训练出来的网络要比正常的网络小的多，在一定程度避免过拟合的问题。如下图所示的一个简单网络，因为每一个节点都有可能被丢弃，所以整个网络不会把某个节点的权重值赋很大，类似于L2正则化，能够起