典型神经网络.ppt

（2）反向传播：采用梯度下降法，调整各层间的权值。权值的学习算法如下： 输出层及隐层的连接权值 学习算法为： 其中 为学习速率， 隐层及输入层连接权值 学习算法为： 如果考虑上次权值对本次权值变化的影响，需要加入动量因子 ，此时的权值为： 其中 为动量因子， 7.2.7 仿真实例： 取标准样本为3输入2输出样本，如表7-1所示。 输 入 输 出 1 0 0 1 0 0 1 0 0 0.5 0 0 1 0 1 表7-1 训练样本 BP网络模式识别程序包括 (1)网络训练程序chap7_2a.m (2)网络测试程序chap7_2b.m。 chap7_2 a~b.m实验结果 chap7_2a.m chap7_2b.m 7.3 RBF神经网络 径向基函数(RBF-Radial Basis Function)神经网络是由J.Moody和C.Darken在80年代末提出的一种神经网络,它是具有单隐层的三层前馈网络。由于它模拟了人脑中局部调整、相互覆盖接收域（或称感受野-Receptive Field）的神经网络结构，因此，RBF网络是一种局部逼近网络，已证明它能任意精度逼近任意连续函数。 RBF网络特点 (1) RBF网络的作用函数为高斯函数，是局部的，BP网络的作用函数为S函数，是全局的； (2) 如何确定RBF网络隐层节点的中心及基宽度参数是一个困难的问题； (3) 已证明RBF网络具有唯一最佳逼近的特性，且无局部极小。 7.3.1 RBF网络结构 RBF网络是一种三层前向网络，由于输入到输出的映射是非线性的，而隐含层空间到输出空间的映射是线性的，从而可以大大加快学习速度并避免局部极小问题。 图7-13 RBF网络结构 7.3.2 RBF网络的逼近 采用RBF网络逼近一对象的结构如图所示。 图7-14 RBF神经网络逼近 在RBF网络结构中， 为网络的输入向量。设RBF网络的径向基向量 ，其中hj为高斯基函数： 网络的第j个结点的中心矢量为： 其中，i=1,2,…n 设网络的基宽向量为： 为节点的基宽度参数，且为大于零的数。网络的权向量为： k时刻网络的输出为： 设理想输出为y(k)，则性能指标函数为： 根据梯度下降法，输出权、节点中心及节点基宽参数的迭代算法如下： 阵(即为对象的输出对控制输入的灵敏度信息)算法为： 其中取 。 其中, 为学习速率， 为动量因子。 使用RBF网络逼近下列对象： RBF网络逼近程序见chap7_3.m。 7.3.3 RBF网络逼近仿真实例 chap7_3.m实验结果 红色: y(k), 蓝色:yn(k) plot(time,y,r,time,ym,b); 7.4 回归神经网络 对角回归型神经网络（DRNN：Diagonal Recurrent Neural Network）是具有反馈的动态神经网络，该网络能够更直接更生动地反映系统的动态特性，它在BP网络基本结构的基础上，通过存储内部状态使其具备映射动态特征的功能，从而使系统具有适应时变特性的能力，DRNN网络代表了神经网络建模和控制的方向。 7.4.1 DRNN网络结构 DRNN网络是一种三层前向网络，其隐含层为回归层。正向传播是输入信号从输入层经隐层传向输出层，若输出层得到了期望的输出，则学习算法结束；否则，转至反向传播。反向传播就是将误差信号（理想输出与实际输出之差）按联接通路反向计算，由梯度下降法调整各层神经元的权值和阈值，使误差信号减小。 DRNN网络结构如图7-18所示。 图7-18 DRNN神经网络结构 在该网络中, 设 为网络输入向量, 为输入层第 i个神经元的输入，网络回归层第 j 个神经元的输出为 , 为第 个回归神经元输入总和, 为S函数， 为 DRNN网络的输出。 和 为网络回归层和输出层的权值向量, 为网络输入层的权值向量。 7.4.2 DRNN网络的逼近 DRNN网络逼近的结构如图7-19所示，图中k为网络的迭代步骤，u(k)和y(k)为