自动化概论第六讲.pptVIP

e=0.5, Δe=1.5 时的推理结果 μu 0.5 0 1 2 3 4 5 u 1.0 062 6.3.4 神经元网络控制（Neural Network Control） 人工神经元及神经网络的产生和发展： 1943年提出神经元模型 1949年 Hebb 提出神经元学习规则 （Hebb学习规则） 1958年提出基于神经网络的感知器模型 （模拟人脑的感知和学习能力） 063 1986年提出神经网络的反向传播学习方法（简称 BP 算法，Back Propagation ） [注] ，证明了BP神经网络能无限逼近任意输入输出函数 90年代神经网络的研究达到高潮，并成功应用于自动控制、人工智能、信息处理、机器人、机械制造等很多领域。 注：1974年哈佛大学的博士生Werbos就已提出，但未引起注意 064 y Σθf(·) ... w1 wn w2 x1 x2 xn ... wi：连接权系数 θ：阈值 f(·) ：输出变换函数 θ, f 的确定: 根据应用 wi 的确定: 通过学习 一、人工神经元模型 065 输出变换函数的常见类型: y s 1 -1 s 1 0 0.5 y s 1 -1 y 0 控制中常用 ②，③，④ ② 比例函数 ③ S 状函数 ④ 双曲函数 ① 符号函数 ① ③ ④ 066 二、神经元的学习方法 学习规则： wi(k+1) = wi(k) + μivi(k) , i = 1, 2, ..., n k —— 第 k 次学习 μi —— 学习速率 （μi 0） vi(k) —— 学习信号（通常为误差的函数） y Σθf(·) ... w1 wn w2 x1 x2 xn ... 学习规则 学习信号 学习的意义： 通过调整权值 wi ，使神经元具有期望的输入输出模式 067 学习方法——梯度下降法： 特点： 沿梯度方向下降一定能到达 J 的极小点； 学习的快慢取决于学习速率μi 的选取； 缺点是可能陷入局部最小点。 J W W(k) 梯度方向 068 简单例： 设 y = w1x1 （即 θ= 0 , f(s) = s） w1 的初值 w1(0) = 0 y Σθf(·) w1 x1 单输入神经元 取性能指标为 J = e2(k)／2 = [ 2 – y(k)] 2 ／2 = [ 2 – w1(k)] 2 ／2 则有 J w1 2 梯度方向 0 2 用梯度下降法, 使 x1 = 1 时, y = 2 069 k 1 2 3 4 5 w1(k), y(k) 1 1.5 1.75 1.875 1.9375 k 1 2 3 4 5 w1(k), y(k) 3 1.5 2.25 1.875 2.0625 表 6-1 μ=0.5 时的学习结果 ( 学习速率较小 ) 表 6-2 μ=1.5 时的学习结果 ( 学习速率较大 ) k 1 2 3 4 5 w1(k), y(k) 4 0 4 0 4 表 6-3 μ=2 时的学习结果 ( 学习速率过大 ) 070 k 1 2 3 4 5 w1(k), y(k) 6 -6 18 -30 66 表 6-4 μ=3 时的学习结果 ( 学习速率过大 ) 结论： μ过小收敛慢；μ过大则振荡甚至可能发散。 对于该例，μ=1 时的学习次数最少( 一次结束) 071 三、神经元网络 . . . . . . . . . 三层前馈网络 神经元按一定方式连接 神经网络 目的：通过学习，使神经网络具有期望 的输入输出模式 两个关键: 网络结构 , 学习方法 常用结构: 前馈网，反馈网等 著名的BP网络 = 前馈网 + BP算法 （ BP: Back Propagation ） 072 梯度下降法 由输出层向输入层反向计算每一层的连接权值 BP算法 ＋ ＝ BP算法的进行方式: 由给定的输入样本计算网络输出，并与输出样本进行比较（输出误差）； 由输出误差依次反向计算每一层的权值； 重复①、②，直至输出误差满足要求为止； 对每组输入输出样本数据都按①～③ 进行学习； 重复①～④，直至所有输出误差都达到要求的精度。　 … … … 前馈网络 073 神经网络的特点： 通过学习，可以无限逼近任意的输入