4-4神经网络控制PPT课件.pptVIP

第4章 神经网络控制 4.4 几种典型的神经网络 按照神经网络的拓扑结构与学习算法相结合的方法可将神经网络的类型分为前馈网络、竞争网络、反馈网络和随机网络四大类。 4.4.1 BP神经网络 1986年，D. E. Rumelhart和J. L. McClelland提出了一种利用误差反向传播训练算法的神经网络，简称BP(Back Propagation)网络，是一种有隐含层的多层前馈网络，系统地解决了多层网络中隐含单元连接权的学习问题。 BP算法原理 BP学习算法的基本原理是梯度最速下降法，它的中心思想是调整权值使网络总误差最小。 4.4 几种典型的神经网络 多层网络运用BP学习算法时，实际上包含了正向和反向传播两个阶段。在正向传播过程中，输入信息从输入层经隐含层逐层处理，并传向输出层，每一层神经元的状态只影响下一层神经元的状态。如果在输出层不能得到期望输出，则转入反向传播，将误差信号沿原来的连接通道近回，通过修改各层神经元的权值，使误差信号最小。 这种网络没有反馈存在，实际运行仍是单向的，所以本能将其看成是一非线性动力学系统，而只是一种非线性映射关系。具有隐含层BP网络的结构如图4-9所示。 图4-9 BP网络的结构 4.4 几种典型的神经网络 误差反向传播算法的计算步骤 (1)计算一个输出单元活性改变时的误差导数EA，即实际活性与期望活性的差值 (2)计算一个单元所接受总输入变化时的误差导数EI,EI实际上等于上述步骤(1)的结果乘以一个单元的总输入变化时其输出的变化率，即 (3)计算一个与输出单元联接权值改变时的误差变化率EW (4)为了计算对误差总的影响，把对各输出单元的所有单独影响相加 4.4 几种典型的神经网络 运用步骤(2)和(4)，可把一层单元的EA变成前面一层单元的EA，为了得到期望的前面各层的EA，可重复此计算步骤。当得到一个单元的EA后，可用步骤(2)和(3)来计算作用于它的输入联接上的EW。 BP算法的计算机实现流程 (1)初始化，对所有权值赋以随机任意小值，并对阈值设定初值； (2)给定训练数据集，即提供输入向量 和期望输出 ； (3)计算实际输出 其中， 函数为Sigmoid函数 4.4 几种典型的神经网络 (4)调整权值，按误差反向传播方向，从输出节点开始返回到隐层按下式修正权值 (5)返回第(2)步重复，直至误差满足要求为止。 使用BP算法应注意的几个问题 (1)学习速率 的选锋非常重要。 (2)在设置各训练样本的期望输出分量时，不能设置为1或0，以设置为 0.9或0.1较为适宜。 (3)若实际问题给予网络的输入量较大，需做归一化处理，网络的输出也要进行相应的处理。 (4)各加权系数的初值以设置为随机数为宜。 (5)在学习过程中，应尽量避免落入某些局部最小值点上，引入惯性项有可能使网络避免落入某一局部最小值。 4.4 几种典型的神经网络 4.4.2 径向基神经网络 1985年，Powell提出了多变量插值的径向基函数(Radial Basis Function，RBF)方法。 径向基函数网络比BP网络需要更多的神经元，但是它能够按时间片来训练网络。径向基网络是一种局部逼近网络，已证明它能以任意精度逼近任一连续函数。 构成RBF网络的基本思想：用RBF作为隐单元的“基”构成隐含层空间，这样就可将输入矢量直接(即不通过权连接)映射到隐空间。当RBF的中心点确定以后，这种映射关系也就确定了。而隐含层空间到输出空间的映射是线性的，即网络的输出是隐单元输出的线性加权和。此处的权即为网络可调参数。 4.4 几种典型的神经网络 径向基函数网络模型 RBF网络由两层组成，其结构如图4-10所示。 输入层节点只是传递输入信号到隐含层，隐含层节点由像高斯核函数那样的辐射状作用函数构成，而输出层节点通常是简单的线性函数。隐含层节点中的作用函数(核函数)对输入信号将在局部产生响应。 图4-10 RBF网络的结构 4.4 几种典型的神经网络 网络输出 RBF网络的输入层到隐含层实现 的非线性映射，径向基网络隐含层节点的作用函数一般取下列几种形式 最常用的是高斯激活函数 采用高斯基函数，具备如下优点： (1)表示形式简单，即使对于多变量输入也不增加太多的复改性； (2)径向对称； (3)光滑性好，任意阶导数存在； (4)由