BP网络的拓扑结构与数学描述.docVIP

BP网络的介绍 BP（Back-Propagation）神经网络是目前广泛采用的前馈神经网络模型中最具代表性的一种，由鲁梅尔哈特和麦克莱伦徳于1985年提出。BP网络中的神经元通常采用S型对数函数作为其传递函数，利用其连续可导性，采用误差反向传播BP算法，使网络各层神经元的权值与阈值按照误差减小的方向进行修正，直到误差在所需范围之内。BP网络的学习过程可以分为前向计算与反向误差传播两个部分，这两个部分是相继连续反复进行的。输入信号通过各层进行网络计算得到输出信号，与目标信号进行比较后如果存在有误差，则进行以误差为依据，反向传播逐一修正各层神经元连接权值与阈值。 BP算法的学习主要流程如图所示： BP单样本算法流程 BP网络的拓扑结构与数学描述 BP神经网络是一种典型的前馈型网络，多用于多层网络结构，网络中除包含输入层节点即输出层节点外，还包含至少一层的隐含层。各层之间的神经元之间没有耦合连接，输入信号向量依次经过各层节点直到输出结果，各层神经元的输入来自前一层的输出。其网络拓扑结构如下图所示： 下面以一个三层BP网络为例，详细讨论其BP算法的基础数学理论： 网络各层神经元传递函数选取S型对数函数：，且有求导性质：； 网络变量设置如下： 输入层神经元个数：M； 中间层神经元个数：q； 输出层神经元个数：L； 网络训练样本个数：n； 第r输入向量： ；k=1,2，...n 第r输出向量：； 第r目标输出向量： 设定输入层神经元自上而下序号为：1,2,…i,…M； 设定中间层神经元自上而下序号为：1,2,…j,…q； 设定输出层神经元自上而下序号为：1,2,…k，…L； 输入层到中间层的连接权值为： 中间层到输出层的连接权值为： 中间层的输入向量：； 中间层的输出向量：； 输出层的输入向量：； 中间层的阈值向量为：； 输出层的阈值向量为：； 输入层至中间层的学习速率：； 中间层至输出层的学习速率：； 下面将BP算法分为两个过程来进行论述。 前向网络计算过程： 计算中间层各节点的输入：； 计算中间层各节点的输出：； j=1,2,…q 计算输出层各节点的输入：； 计算输出层各节点的输出：； k=1,2,…L 上式的矩阵表达为： 设定上面是在第个样本输入后的参数表达，在比较期望输出与实际输出后，如误差在设定范围之外，则应参照误差反向传播算法，对各层神经元之间的连接权值和阈值进行修正调整，调整后的连接权值与阈值为第个样本输入之前的值。 反向修正调整权值与阈值的过程： 在BP算法学习过程中，为了使学习以尽可能快的减小误差的方式进行，对误差的计算采用广义的δ规则，其误差函数为： 中间层到输出层的连接权值修正： 为了使连接权值沿着的梯度变化方向得以改善，网络逐渐收敛，BP算法取正比于，即： 为学习速率，又叫增益因子。 为关于的函数，为关于的函数，且为关于的函数，因此，通过连续求导法则可以将写成： ，又，即：，且由传递函数的导数性质有： 则： 上式的矩阵表达式为： 在对阈值进行数学表达的时候，可以将其看作输入的权值变量进行处理，因此中间层到输出层的阈值修正为： 其矩阵表达式为： 输入层到中间隐含层的连接权值修正： 从上面的关于的表达式中可以看出，为关于的函数，又为的函数，为对函数，同时可以看出的表达式中第一步对进行求导时包含了L项，因此这两层之间的权值修正要比上面两层要复杂的多。同样在以误差减小的方向按照梯度下降的规则进行修正有： ； （式 1.1） 其中；且： 将以上代入到式1.1： 则权值修正为： 上面式子的矩阵表达为： 同理，阈值修正量为： 其矩阵表达式为： 以上是将包含个样本逐个的进行输入，每次都要对权值与阈值矩阵进行重新修正，在个样本输入完后，权值与阈值固定，自此网络完成学习达到稳定状态的全部过程。由于BP网络是对人大脑学习的一个模仿过程，显而易见的是在对一个新事物的学习后就要改变前一个事物的学习，这样的过程缺乏全局性。因此，在进行网络训练时，对连接权值的调整时机可以基于系统平均误差进行，即在所有的样本输入后计算其总的误差，按照此误差减小的梯度进行反向传播，直到网络收敛满足要求。这种方法称为批处理，批处理的优点是迭代次数减小，网络训练时间缩短，且能得到更为满意的结果。具体的计算过程在这里省略。 样本 样例输入 进行网络计算 计算实际输出与期望输出的误差 大于设定误差 权值，阈值 误差反向传播 修正 小于等于设定误差