深度学习案例教程 课件5.2反向传播算法.pptx

第二节反向传播算法反向传播(BackPropagation,BP)算法是一种高效地在所有参数上使用梯度下降算法的方法。前向传播可以概括为输入经过神经网络的处理，最终产生输出在训练过程中，前向传播会产生一个损失函数；反向传播则允许来自损失函数的信息通过网络向后流动，以便计算梯度。反向传播算法定义

第二节反向传播算法神经网络模型之所以不能直接应用梯度下降算法进行训练，主要有以下两个原因。(1)梯度下降可以应对带有明确求导函数的情况，或者说可以求出误差的情况。(2)对于多层神经网络，隐藏层的误差是不存在的，因此不能直接对它应用梯度下降，要先将误差反向传播至隐藏层，然后应用梯度下降。反向传播算法定义

反向传播算法距离第1层是输入层，包含一个神经元x，权值和偏置分别是w1和b1。第2层是隐藏层，包含一个神经元h1，权值和偏置分别是w2和b2。第3层是输出层a，这里的激活函数默认为Sigmoid函数。第二节反向传播算法

前向传播输入层到隐藏层：计算神经元x的输入加权和，再采用Sigmoid激活函数，得到h1的输出值。隐藏层到输出层：将h1的输出a1再进行加权求和，然后采取Sigmoid激活，得至输出值a2。建立损失函数。我们得到了输出值a2，但它与真实值y还相差很远，所以需要对二者的误差建立损失函数。反向传播的计算过程第二节反向传播算法

步骤1：计算总误差。这里只有一个输出，因此只需要计算真实值和输出值之间的差异即可。反向传播的计算过程第二节反向传播算法

步骤2：隐藏层到输出层的权值更新。以权重参数w2为例，如果想知道对整体误差产生了多少影响，可以用整体误差对此求偏导得出(应用链式法则)。反向传播的计算过程第二节反向传播算法

反向传播算法步骤3：输入层到隐藏层的权值更新。以对权值w1的更新为例，其计算方法和步骤2差不多，应用链式法则可得出：反向传播的计算过程

BP算法的基本工作原理，简单概括就是先向前计算得到输出值，然后反向传播更新参数，最后得到损失函数最小时的参数作为最优学习参数。简单概括第二节反向传播算法