【模式识别与人工智能复习题】第四章-神经网络习题2.pptxVIP

;;;请简述什么是反向传播算法，总体流程，以及优缺点。

什么是反向传播算法

反向传播算法是适用于多层神经网络的一种学习算法，由于ANN的输出结果与实际结果有误差，则先计算估计值与实际值之间的误差，并将该误差从输出层向隐藏层反向传播，直至传播到输入层；在反向传播的过程中，根据误差调整各种参数的值；不断迭代上述过程，直至收敛。

;请简述什么是反向传播算法，总体流程，以及优缺点。

整体流程

首先对每个样本数据，进行前向传播计算，依次计算出每层每个单元的激活值。接着计算出第一层的每个节点的“残差”值，该值直接体现了这个单元对最终的输出有多大的影响力。最后一层输出层则可以直接获得最终结果和输出结果的差值，而对于中间的隐藏层的残差，我们则通过加权平均下层残差来计算。;请简述什么是反向传播算法，总体流程，以及优缺点。

优点

能够自适应、自主学习。

拥有非线性映射能力和泛化能力。

缺点

当网络复杂时，每次都需要更新数量较多的阈值和权值，算法会变得低效。

从数学角度看，反向传播算法是一种速度较快的梯度下降算法，很容易陷入局部最小值的问题。

;;请简述什么是批量归一化，为什么要使用批量归一化，它的优点。

什么是批量归一化

批量归一化就是在激活函数接受输入之前将数据的分布都规范到标准正态分布中，使得激活函数的输入值落在函数较为敏感的区域，也即梯度较大的区域，从而避免梯度消失，减少训练