过拟合与规范化.pptxVIP

过拟合与规范化什么是过拟合？偏差和方差(Bias and Variance)方差：描述模型自身的不稳定性偏差：模型预测值与真实规律之间的差距数据集高方差高偏差偏差和方差(Bias and Variance)前提：人眼辨别的错误率接近0%y=0y=1目的：训练出低方差，低偏差的分类器训练集错误率：1% 15% 0.5% 测试集错误率：11% 16% 1%高方差 高偏差低方差低偏差解决方案： 1.高偏差 将迭代次数变多或者增加网络深度 2.高方差 增加训练样本的量或者规范化 规范化规范化技术： 1.L1规范化 2.L2规范化(权重衰减) 3.弃权(dropout)目的：将部分权重衰减到0，从而使网络简单化 或者将随机删除神经元的数量方法：在损失函数后边加入正则项L2规范化公式推导：增加一个规范化项到交叉熵损失函数上公式(1)其中 是正则化参数并且大于0，n是训练数据的个数对公式(1)进行简化得到公式(2)：公式(2)公式(2)对w进行求偏导得到公式(3)：公式(3)L2规范化根据公式(3)和梯度下降法得到公式(4)：公式(4)其中 ，这样导致权重会不断下降到0。 为什么规范化可以减轻过拟合？实例一一个过拟合的网络高方差高偏差我们可以看到如果 够大，权重w被设置为接近0的值，直观的理解是把很多隐藏单元的权重设置为0，基