智能控制第3章人工神经元网络控制论网络模型.ppt

网络模型 算例 A=B=D=500， C=200， RakCak=1, O0=0.02 微分方程的初值选为： Oak=O00+δOak 其中： O00为常数项，满足在t=0时， 以利于收敛； δOak是扰动项，其取值范围为： -0.1O0≤??Oak≤0.1O0 优化结果 3.3.3 回归（Recurrent）神经网络 与Hopfield神经网络非常相似。 保留了部分前向传播网络的特性又具备部分Hopfield网络的动态联想记忆能力。 Pineda在1987年首先将传统的BP学习算法引入到回归神经网络中来，并提出回归反向传播算法。 离散型回归神经网络(DTRNN) 神经元模型： 其中： N是神经网络的输出节点数， M是输入矢量X的维数 网络结构 学习方法1 展成多层前向网络 学习方法2 迭代学习算法 梯度下降法实现 流程 权系数矩阵W初始化,置k=1; 取下一组训练样本集，置 所有状态为零，所有 迭代： * 3.3.1 带时滞的多层感知器网络 有两种实现： 无输出反馈 有输出反馈 带时滞的多层感知器网络1 图3-20 时滞神经网络结构 带时滞的多层感知器网络2 图3-21 带反馈时滞神经网络结构 3.3.2 Hopfield神经网络 具有相互连接的反馈型神经网络模型 将其定义的“能量函数”概念引入到神经网络研究中，给出了网络的稳定性判据。 用模拟电子线路实现了所提出的模型，并成功地用神经网络方法实现了4位A/D转换。 类型 1 2 1. 二值型的Hopfield网络 全连接单层网络 神经元模型 yi取值通常为 0和1或-1和1 例3-4：状态转移关系 假设一个3节点的离散Hopfield神经网络，已知网络权值与阈值如图3-23(a)所示。 采取随机异步更新策略，求计算状态转移关系。 状态转移图 动力学特征：能量井 能量函数 能量井 ：能量极小状态（与网络的稳定状态一一对应） 用途：联想记忆、优化 能量井设计 能量井的分布是由连接权值决定的。 一是根据求解问题的要求直接计算出所需要的连接权值。这种方法为静态产生方法，一旦权值确定下来就不再改变； 二是通过提供一种学习机制来训练网络，使其能够自动调整连接权值，产生期望的能量井。这种方法为动态产生方法。 （1）权值的静态设计方法：例3-6 如下图3节点DHNN模型为例要求设计的能量井为状态y1y2y3=010和111。权值和阈值可在[-1,1]区间取值，确定网络权值和阈值。 解 对于状态A，当系统处于稳态时， 有 W12+θ10 θ20 W23+θ30 对于状态B，当系统处于稳态时， 有 W12+ W13+θ10 W12+ W23+θ20 W23+ W13+θ30 特解 W12=0.5, W13=0.4, W23=0.1, θ1=-0.7, θ2=0.2, θ3=-0.4. W12=-0.5, W13=0.5, W23=0.4, θ1=0.1, θ2=0.2, θ3=-0.7. 出现了假能量井100 （2）基于学习规则的设计方法 Hebb学习规则（主要方法） δ学习规则 Hebb学习规则 原则为：若i与j两个神经元同时处于兴奋状态，则它们之间的连接应加强，即： . 外积规则 对于一给定的需记忆的样本向量{t1,t2,...,tN },如果初始权值为0，tk的状态值为+1或-1，则其连接权系数的学习可以利用“外积规则”，即： 标量形式： 活跃值为1或0时 ： 2. 网络的稳定性 定理3-2： 令S=（W，θ）代表神经网络，W为一对称矩阵。则有： 如果S工作在串行模式，W的对角元素非负（包括对角元为0的情况），则网络总是收敛于稳定状态。（即在状态空间没有极限环存在）； 如果S工作在并行模式时，网络总是收敛于稳定状态或Hamming距离小于2的极限环。 证明 定义能量函数为： 将E(k)在Y(k)展开Talyor级数，有： 其中， 不失一般性，假设阈值函数f(·)为符号函数sgn(·)。则 其中： 显然 在串行工作方式下， 例3-7： 假设神经元的阈值矢量θ=0，网络输出只取两值｛