一种防止过拟合的方法.pptVIP

神经网络的训练使用随机梯度下降法，同样在这里也适用，但是不同的一点是dropout是随机选取的小批量的thin network，这里用到很多算法，在dropout这里也适用， 对于dropout特别有用的就是上面的球形限制， 预训练一般是在训练无标签数据时适用 * 数据足够的时候，不必使用dropout应为不大可能产生过拟合 * 大学习率与高动量，最大归一化 * 具体来说就是将随机化的dropout变为确定性的，比如对于Logistic回归，其dropout相当于加了一个正则化项 * 一种防止过拟合的方法—Dropout的介绍 College of Information Engineering 贺 敏 November 12, 2015 Company Logo Outline Dropout的背景及产生动机 Dropout模型的描述 Dropout的部分实验结果 进一步了解Dropout 总结 Company Logo Dropout的背景及产生动机 背景： 深度神经网络具有多层非线性的隐含层，这使得它可以学习输入输出之间复杂的关系，然而在有限的训练数据，这将会产生采样噪音，即使训练数据和实际数据属于相同的分布，但是数据模型在训练集里表现非常满意，但是一旦应用到真实业务实践时，效果大打折扣。这就是过拟合 Company Logo Dropout的背景及产