深度学习入门与实践 第五章 深度学习实践.pptVIP

第五章 深度学习实践《深度学习入门与实践》深度学习入门与实践 数据拟合程度深度学习入门与实践 分类器图 5-2所示的分类器会产生高偏差, 因为它的数据拟合度低, 像这种接近线性的分类器, 数据拟合度都比较低。 图 5-3 所示, 则它会过度拟合部分数据, 该分类器具有高偏差和高方差, 偏差高是因为它几乎是一条线性分类器, 并未拟合数据。 二次曲线能够很好地拟合数据, 如图 5-4 所示。 深度学习入门与实践 激活函数防止过拟合Tanh激活函数深度学习入门与实践 Dropout正则化假设在训练图所示的神经网络,它存在过拟合, dropout 会遍历网络的每一层, 并消除神经网络中节点。 假设网络中的每一层, 每个节点得以保留和消除的概率都是 0. 5, 设置完节点概率会消除一些节点, 然后删除掉从该节点进出的连线, 最后得到一个节点更少, 规模更小的网络,再用 backprop 方法进行训练 深度学习入门与实践 数据扩增防止过拟合扩增训练数据可以通过添加这类图片, 例如, 水平翻转图片, 并把它添加到训练集, 如图 所示。 所以现在训练集中有原图, 还有翻转后的这张图片, 通过水平翻转图片, 训练集则可以增大一倍, 因为训练集有冗余, 这虽然不如额外收集一组新图片那么好, 但这样做节省了获取更多猫咪图片的花费。深度学习入门与实践 归一化深度学习入门与实践如果使用非归一化的特征输入，则代价函数为一个非常细长狭窄的代价函数。非归一化特征下的代价函数  梯度校验在实施反向传播时, 有一个测试叫做梯度检验, 它的作用是确保反向传播正确实施。 因为有时候虽然写下了这些方程式, 却不能 100% 确定, 执行反向传播的所有细节都是正确的。 为了逐渐实现梯度检验, 将讨论如何在反向传播中执行梯度检验, 以确保反向传播正确实施。深度学习入门与实践