一种防止过拟合的方法参考.pptVIP

神经网络的训练使用随机梯度下降法，同样在这里也适用，但是不同的一点是dropout是随机选取的小批量的thin network，这里用到很多算法，在dropout这里也适用， 对于dropout特别有用的就是上面的球形限制， 预训练一般是在训练无标签数据时适用 * 数据足够的时候，不必使用dropout应为不大可能产生过拟合 * 大学习率与高动量，最大归一化 * 具体来说就是将随机化的dropout变为确定性的，比如对于Logistic回归，其dropout相当于加了一个正则化项 * 一种防止过拟合的方法—Dropout的介绍 College of Information Engineering 贺 敏 November 12, 2015 Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile 5.2.0.0. Copyright 2004-2011 Aspose Pty Ltd. Company Logo Outline Dropout的背景及产生动机 Dropout模型的描述 Dropout的部分实验结果 进一步了解Dropout 总结 Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile 5.2.0.0. Copyright 2004-2011 Aspose Pty Ltd. Company Logo Dropout的背景及产生动机 背景： 深度神经网络具有多层非线性的隐含层，这使得它可以学习输入输出之间复杂的关系，然而在有限的训练数据，这将会产生采样噪音，即使训练数据和实际数据属于相同的分布，但是数据模型在训练集里表现非常满意，但是一旦应用到真实业务实践时，效果大打折扣。这就是过拟合 Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile 5.2.0.0. Copyright 2004-2011 Aspose Pty Ltd. Company Logo Dropout的背景及产生动机 如何处理过拟合： early stopping、 数据集扩增（Data augmentation）、 L1 Regularization L2 regularization dropout Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile 5.2.0.0. Copyright 2004-2011 Aspose Pty Ltd. Company Logo Dropout的背景及产生动机 几种方法的区别： L1、L2正则化是通过修改代价函数来实现的 Dropout则是通过修改神经网络本身来实现的 Data augmentation是通过修改数据实现的 Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile 5.2.0.0. Copyright 2004-2011 Aspose Pty Ltd. Company Logo Dropout的背景及产生动机 产生动机： 来源于有性繁殖 基因的选择增加了随机性，在进化过程中，基因不能依赖于其他的基因，也就增强了健壮性 同理，随机的删掉隐含层的一些节点后，同样也会增强其他节点提取特征的能力 Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile 5.2.0.0. Copyright 2004-2011 Aspose Pty Ltd. Company Logo Dropout的模型描述 Dropout是指在模型训练时随机让网络某些隐含层节点的权重不工作，不工作的那些节点可以暂时认为不是网络结构的一部分，但是它的权重得保留下来（只是暂时不更新而已），因为下次样本输入时它可能又得工作了. Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile 5.2.0.0. Copyright 2004-2011 Aspose Pty Ltd. Company Logo Dropout的模型描述 如图所示，在训练时，节点按照概率P决定是否工作。 在测试时，不使用Dropout，但是要按比例的缩放权重，如上图b所示，这样才能保证预期输出与实际输出一致。 Evaluati