深度学习简明教程 课件 第3章 反向传播算法.pptx

第3章反向传播算法3.1反向传播机制3.2反向传播算法性能分析3.3改进的反向传播算法3.4反向传播算法实现的几点说明

3.1反向传播机制

梯度下降法的优点之一在于它可以用在隐层神经网络的训练中，因此梯度下降法是多层前馈神经网络学习的一种常用方法。梯度下降法要求误差函数必须是可导的，线性元件虽然满足这个条件，但是如果在多层前馈神经网络模型中采用线性元件，多层前馈神经网络也只能产生线性函数，即采用线性元件的多层前馈网络和单层前馈网络本质上是一样的。因此，在多层前馈神经网络中通常采取Sigmoid单元(简称S-元件)和线性元件配合使用的方法。