基于神经网络及智能控制系统.pptVIP

* 智能控制理论及其应用 信息学院·尤富强 4.4 几种典型的神经网络 按照神经网络的拓扑结构与学习算法相结合的方法可将神经网络的类型分为前馈网络、竞争网络、反馈网络和随机网络四大类。 4.4.1 BP神经网络 1986年，D. E. Rumelhart和J. L. McClelland提出了一种利用误差反向传播训练算法的神经网络，简称BP(Back Propagation)网络，是一种有隐含层的多层前馈网络，系统地解决了多层网络中隐含单元连接权的学习问题。 (1) BP算法原理 BP学习算法的基本原理是梯度最速下降法，它的中心思想是调整权值使网络总误差最小。 4.4 几种典型的神经网络 (1) BP算法原理 多层网络运用BP学习算法时，实际上包含了正向和反向传播两个阶段。在正向传播过程中，输入信息从输入层经隐含层逐层处理，并传向输出层，每一层神经元的状态只影响下一层神经元的状态。如果在输出层不能得到期望输出，则转入反向传播，将误差信号沿原来的连接通道返回，通过修改各层神经元的权值，使误差信号最小。 这种网络没有反馈存在，实际运行仍是单向的，所以不能将其看成是一非线性动力学系统，而只是一种非线性映射关系。具有隐含层BP网络的结构如图4-9所示。 （1）BP算法原理 图4-9 BP网络的结构 4.4 几种典型的神经网络 目标函数： 函数为Sigmoid函数： 正向推算过程： （1）隐层输出 （2）网络输出 4.4 几种典型的神经网络 （1）BP算法原理 （2）BP算法的计算步骤 1) 计算一个输出单元活性改变时的误差导数EA，即实际输出与期望输出的差值 2)计算一个单元所接受总输入变化时的误差导数EI，EI实际上等于上述步骤1)的结果乘以一个单元的总输入变化时其输出的变化率，即 4.4 几种典型的神经网络 （2）BP算法的计算步骤 3)计算一个与输出单元联接权值改变时的误差变化率EW 4)为了计算对误差总的影响，把对各输出单元的所有单独影响相加 4.4 几种典型的神经网络 （2）BP算法的计算步骤 运用步骤2)和4)，可把一层单元的EA变成前面一层单元的EA，为了得到期望的前面各层的EA，可重复此计算步骤。当得到一个单元的EA后，可用步骤2)和3)来计算作用于它的输入联接上的EW。 4.4 几种典型的神经网络 （3）BP算法的计算机实现流程 1) 初始化，对所有权值赋以随机任意小值，并对阈值设定初值； 2) 给定训练数据集，即提供输入向量 和期望输出 ； 3) 计算实际输出 4.4 几种典型的神经网络 （3）BP算法的计算机实现流程 4) 调整权值，按误差反向传播方向，从输出节点开始返回到隐层按下式修正权值 其中： 5) 返回第2)步重复，直至误差满足要求为止。 4.4 几种典型的神经网络 （4）使用BP算法应注意的几个问题 学习速率η 的选择非常重要。 在设置各训练样本的期望输出分量时，不能设置为1或0，以设置为 0.9或0.1较为适宜。 若实际问题给予网络的输入量较大，需做归一化处理，网络的输出也要进行相应的处理。 各加权系数的初值以设置为随机数为宜。 在学习过程中，应尽量避免落入某些局部最小值点上，引入惯性项有可能使网络避免落入某一局部最小值。 4.4 几种典型的神经网络 （5）BP网络的优缺点 1）BP网络主要优点： 只要有足够多的隐含层和隐节点，BP网络可以逼近任意的非线性映射关系； BP网络的学习算法属于全局逼近的方法，因而它具有较好的泛化能力。 2）BP网络的主要缺点： 收敛速度慢； 局部权值； 难以确定隐含层和隐节点的个数。 4.4 几种典型的神经网络 （6）典型的BP网络改进算法 1) 引入惯性项 输出层的任意神经元 k 在样本p 作用时的加权系数改进公式为 隐含层的任意神经元 i 在样本p 作用时的加权系数改进公式为 4.4 几种典型的神经网络 （6）典型的BP网络改进算法 2)引入动量项 加入的动量项实质上相当于阻尼项收敛性 式中， 既可表示单个的连接权系数； 为 时刻的负梯度： 是 时刻的负梯度： 为学习速率， ； 为动量项因子， 。