(1.8)--ch5_神经网络理论基础(2).ppt

1BP网络结构含一个隐含层的BP网络结构如下图所示，图中为输入层神经元，为隐层神经元，为输出层神经元。用于逼近的BP网络如下图所示。BP算法的学习过程由正向传播和反向传播组成。在正向传播过程中，输入信息从输入层经隐层逐层处理，并传向输出层，每层神经元（节点）的状态只影响下一层神经元的状态。如果在输出层不能得到期望的输出，则转至反向传播，将误差信号（理想输出与实际输出之差）按联接通路反向计算，由梯度下降法调整各层神经元的权值，使误差信号减小。4BP网络的优缺点BP网络的优点为：（1）只要有足够多的隐层和隐层节点，BP网络可以逼近任意的非线性映射关系；（2）BP网络的学习算法属于全局逼近算法，具有较强的泛化能力。（3）BP网络输入输出之间的关联信息分布地存储在网络的连接权中，个别神经元的损坏只对输入输出关系有较小的影响，因而BP网络具有较好的容错性。BP网络的主要缺点为：（1）待寻优的参数多，收敛速度慢；（2）目标函数存在多个极值点，按梯度下降法进行学习，很容易陷入局部极小值；（3）难以确定隐层及隐层节点的数目。目前，如何根据特定的问题来确定具体的网络结构尚无很好的方法，仍需根据经验来试凑，但输入层数为影响输出的类别个数。由于BP网络具有很好的逼近非线性映射的能力，该网络在模式识别、图像处理、系统辨识、函数拟合、优化计算、最优预测和自适应控制等领域有着较为广泛的应用。由于BP网络具有很好的逼近特性和泛化能力，可用于神经网络控制器的设计。但由于BP网络收敛速度慢，难以适应实时控制的要求。训练50次的结果训练500次的结果*主要内容5.2感知器5.3BP网络及其算法5.1神经网络的基本原理5.3BP网络及其算法1986年，Rumelhart等提出了误差反向传播神经网络，简称BP网络（BackPropagation），该网络是一种单向传播的多层前向网络。误差反向传播的BP算法简称BP算法，其基本思想是梯度下降法。它采用梯度搜索技术，以期使网络的实际输出值与期望输出值的误差均方值为最小。BP神经网络结构2BP网络的特点（1）是一种多层网络，包括输入层、隐含层和输出层；（2）层与层之间采用全互连方式，同一层神经元之间不连接；（3）权值通过δ学习算法进行调节；（4）神经元激发函数为S函数；（5）学习算法由正向传播和反向传播组成；（6）层与层的连接是单向的，信息的传播是双向的。3BP网络的逼近BP网络逼近的结构如下图所示：k为网络的迭代步骤，u(k)和y(k)为逼近器的输入。BP为网络逼近器，y(k)为被控对象实际输出，yn(k)为BP的输出。将系统输出y(k)及输入u(k)的值作为逼近器BP的输入，将系统输出与网络输出的误差作为逼近器的调整信号。用于逼近的BP网络…（1）前向传播：计算网络的输出隐层神经元的输入为所有输入的加权之和：隐层神经元的输出采用S函数激发：则输出层神经元的输出：网络输出与理想输出误差为：误差性能指标函数为：（2）反向传播：采用δ学习算法，调整各层间的权值。根据梯度下降法，权值的学习算法如下：输出层及隐层的连接权值学习算法为：k+1时刻网络的权值为：隐层及输入层连接权值学习算法为：其中k+1时刻网络的权值为：如果考虑上次权值对本次权值变化的影响，需要加入动量因子，此时的权值为：其中,为学习速率，为动量因子。[例]用BP网络来实现下面的输入/输出关系:0.034.1160.0140.99-416.10.9700输出矢量T-4.1-6.1-6输入矢量P训练误差记录图(纯梯度下降法)训练误差记录图(附加动量法)5BP网络的训练及其设计过程为了训练一个BP网络，需要计算网络加权输入矢量、输出和误差矢量，然后求出误差平方和。当所训练矢量的误差平方和小于误差目标，训练则停止，否则在输出层计算误差变化，且采用反向传播学习规则来调整权值，并重复此过程。当网络完成训练后，对网络输入一个不是训练集合中的矢量，网络将以泛化方式给出输出结