神经网络与仿真.ppt

1.BP神经网络的结构BP网络的传递函数必须可微。BP网络一般使用Sigmoid函数或线性函数作为传递函数。Sigmoid函数是光滑、可微的函数，在分类时它比线性函数更精确，容错性较好。将输入从负无穷到正无穷的范围映射到0~1或-1~1区间内，具有非线性的放大功能。Log-SigmoidTan-Sigmoid第86页，共145页，星期日，2025年，2月5日1.BP神经网络的结构“误差反向传播”：误差信号反向传播。修正权值时，网络根据误差从后向前逐层进行修正。“反馈神经网络”：输出层的输出值又连接到输入神经元作为下一次计算的输入，如此循环迭代，直到网络的输出值进入稳定状态为止。在本书后面的章节中会专门介绍反馈神经网络，包括Hopfield网络、Elman网络等。BP神经网络属于多层前向网络，工作信号始终正向流动，没有反馈结构。BP网络采用误差反向传播算法（Back-PropagationAlgorithm）进行学习。在BP网络中，数据从输入层经隐含层逐层向后传播，训练网络权值时，则沿着减少误差的方向，从输出层经过中间各层逐层向前修正网络的连接权值。第87页，共145页，星期日，2025年，2月5日2.BP网络的学习算法BP学习算法的原理与LMS算法比较类似，属于最速下降法。最速下降法最速下降法可以求某指标（目标函数）的极小值，若将目标函数取为均方误差，就得到了LMS算法。对于实值函数，如果在某点处有定义且可微，则函数在该点处沿着梯度相反的方向下降最快。因此，使用梯度下降法时，应首先计算函数在某点处的梯度，再沿着梯度的反方向以一定的步长调整自变量的值。当步长足够小时反复迭代求得函数最小值第88页，共145页，星期日，2025年，2月5日2.BP网络的学习算法最速下降法实例：求函数的最小值根据梯度值可以再函数中画出一系列的等值线或等值面，在等值线或等值面上函数值相等。梯度下降法相当于沿着垂直于等值线方向向最小值所在位置移动。第89页，共145页，星期日，2025年，2月5日2.BP网络的学习算法（1）目标函数必须可微。（2）如果最小值附近比较平坦，算法会在最小值附近停留很久，收敛缓慢。“之”字形下降（3）对于包含多个极小值的函数，所获得的结果依赖初始值。算法有可能陷入局部极小值点，而没有达到全局最小值点。BP神经网络来说，由于传递函数都是可微的，因此能满足最速下降法的使用条件。第90页，共145页，星期日，2025年，2月5日2.BP网络的学习算法最速下降BP法隐含层传递函数为Sigmoid函数，输出层传递函数为线性函数1.工作信号正向传播2.误差信号反向传播权值调整量=学习率*局部梯度*上一层输出信号第91页，共145页，星期日，2025年，2月5日2.BP网络的学习算法当输出层传递函数为线性函数时，输出层与隐含层之间权值调整的规则类似于线性神经网络的权值调整规则。BP网络的复杂之处在于，隐含层与隐含层之间、隐含层与输入层之间调整权值时，局部梯度的计算需要用到上一步计算的结果。前一层的局部梯度是后一层局部梯度的加权和。因此，BP网络学习权值时只能从后向前依次计算。串行方式。在线方式，网络每获得一个新样本，就计算一次误差并更新权值，直到样本输入完毕。随机输入样本，不容易陷入局部最优陷阱。批量方式：离线方式。网络获得所有的训练样本，计算所有样本均方误差的和作为总误差。容易并行化，速度快。第92页，共145页，星期日，2025年，2月5日2.BP网络的学习算法动量BP法在标准BP算法的权值更新阶段引入动量因子，使权值修正值具有一定惯性：本次权值的更新方向和幅度不但与本次计算所得的梯度有关，还与上一次更新的方向和幅度有关（1）如果前后两次计算所得的梯度方向相同，得到的权值较大，可以加速收敛过程。（2）如果前后两次计算所得梯度方向相反，则说明两个位置之间可能存在一个极小值，可以得到一个较小的步长，更容易找到最小值点，而不会陷入来回振荡第93页，共145页，星期日，2025年，2月5日2.BP网络的学习算法学习率可变的BP算法：当误差以减小的方式趋于目标时，说明修正方向是正确的，可以增