学习率大容易过拟合.docxVIP

7 - 学习率大容易过拟合 ????深度学习在出现如下情况时，比较容易出现过拟合现象。 ????（1）样本选取出现问题。例如样本数量过少，样本标记错误，样本噪音过大等。 ????（2）训练模型过于复杂。模型的阶数过高等 ????（3）对于决策树模型，如果我们对于其生长没有合理的限制，其自由生长有可能使节点只包含单纯的事件数据(event)或非事件数据(no event)，使其虽然可以完美匹配（拟合）训练数据，但是无法适应其他数据集。 ????（4）对于神经网络模型：a)对样本数据可能存在分类决策面不唯一，随着学习的进行,BP算法使权值可能收敛过于复杂的决策面；b)权值学习迭代次数足够多(Overtraining)，拟合了训练数据中的噪声和训练样例中没有代表性的特征[1]。 ????? 解决过拟合的常用方法： ????? ?（1）正则化 ???????（2）DropOut ? ? ? ?（3）BatchNormalization ???????（4）提前终止训练 （1）正则化 ? ? ? ?正则化(regularization)，是指在线性代数理论中，不适定问题通常是由一组线性代数方程定义的，而且这组方程组通常来源于有着很大的条件数的不适定反问题。大条件数意味着舍入误差或其它误差会严重地影响问题的结果[2]。我们所说的正则化，就是在原来的损失函数的基础上，加上了一些正则化项或者称为模型复杂度惩罚项。 ????????我们为了解决过拟合的问题，常常采用L1正则化和L2正则化。 ????????L1正则化主要是在损失函数后添加参数的绝对值之和，L2正则化在损失函数之后添加参数的平方和（他们都有一个常数的参数C）。 ????????给loss function加上正则化项，能使得新得到的优化目标函数h = f+normal，需要在f和normal中做一个权衡（trade-off），如果还像原来只优化f的情况下，那可能得到一组解比较复杂，使得正则项normal比较大，那么h就不是最优的，因此可以看出加正则项能让解更加简单，符合奥卡姆剃刀理论，同时也比较符合在偏差和方差（方差表示模型的复杂度）分析中，通过降低模型复杂度，得到更小的泛化误差，降低过拟合程度[3]。 L1和L2正则化的区别 （2）DropOut ???? 在学习过程中通过将隐含层的部分权重或输出随机归零，降低节点间的相互依赖性。随机将部分隐含层节点的权重归零，由于每次迭代受归零影响的节点不同，因此各节点的“重要性”会被平衡[4]。(DropOut 还可以解决梯度消失的问题) ?(3)? BatchNormalization ?????? 由于训练过程中各层输入的分布随着前几层参数的变化而变化，使得训练深度神经网络变得复杂。这通过要求较低的学习速率和仔细的参数初始化来减慢训练，并且使得训练具有饱和非线性的模型变得非常困难。BatchNormalization就是在网络的每一层输入之前，做了一个归一化处理[5]。 ?????? BatchNormalization主要能够提高训练的速度，加速收敛；还能增加分类效果，可以防止过拟合；降低初始化要求，能够使用更大的学习率，训练变得容易了~ 作者：爱跳的长颈鹿 /read/cv6984463/ 出处：bilibili