第3章 人工神经元网络控制论-网络模型.ppt

*/102 网络结构 */102 学习方法1 展成多层前向网络 */102 学习方法2 迭代学习算法 梯度下降法实现 */102 流程 权系数矩阵W初始化,置k=1; 取下一组训练样本集，置 所有状态为零，所有 迭代： * */102 1. 二值型的Hopfield网络 全连接单层网络 神经元模型 yi取值通常为 0和1或-1和1 */102 例3-4：状态转移关系 假设一个3节点的离散Hopfield神经网络，已知网络权值与阈值如图3-23(a)所示。 采取随机异步更新策略，求计算状态转移关系。 */102 状态转移图 */102 动力学特征：能量井 能量函数 能量井 ：能量极小状态（与网络的稳定状态一一对应） 用途：联想记忆、优化 */102 能量井设计 能量井的分布是由连接权值决定的。 一是根据求解问题的要求直接计算出所需要的连接权值。这种方法为静态产生方法，一旦权值确定下来就不再改变； 二是通过提供一种学习机制来训练网络，使其能够自动调整连接权值，产生期望的能量井。这种方法为动态产生方法。 */102 （1）权值的静态设计方法：例3-6 如下图3节点DHNN模型为例要求设计的能量井为状态y1y2y3=010和111。权值和阈值可在[-1,1]区间取值，确定网络权值和阈值。 */102 解 对于状态A，当系统处于稳态时， 有 W12+θ10 θ20 W23+θ30 对于状态B，当系统处于稳态时， 有 W12+ W13+θ10 W12+ W23+θ20 W23+ W13+θ30 */102 特解 W12=0.5, W13=0.4, W23=0.1, θ1=-0.7, θ2=0.2, θ3=-0.4. W12=-0.5, W13=0.5, W23=0.4, θ1=0.1, θ2=0.2, θ3=-0.7. 出现了假能量井100 */102 （2）基于学习规则的设计方法 Hebb学习规则（主要方法） δ学习规则 */102 Hebb学习规则 原则为：若i与j两个神经元同时处于兴奋状态，则它们之间的连接应加强，即： . */102 外积规则 对于一给定的需记忆的样本向量{t1,t2,...,tN },如果初始权值为0，tk的状态值为+1或-1，则其连接权系数的学习可以利用“外积规则”，即： 标量形式： 活跃值为1或0时 ： */102 2. 网络的稳定性 定理3-2： 令S=（W，θ）代表神经网络，W为一对称矩阵。则有： 如果S工作在串行模式，W的对角元素非负（包括对角元为0的情况），则网络总是收敛于稳定状态。（即在状态空间没有极限环存在）； 如果S工作在并行模式时，网络总是收敛于稳定状态或Hamming距离小于2的极限环。 */102 证明 定义能量函数为： 将E(k)在Y(k)展开Talyor级数，有： 其中， */102 不失一般性，假设阈值函数f(·)为符号函数sgn(·)。则 其中： */102 显然 在串行工作方式下， */102 例3-7： 假设神经元的阈值矢量θ=0，网络输出只取两值｛0，1｝。要求Hopfield网络记忆如下稳定状态， t1=(1 0 1 0)T。设采取并行更新，并对以下三种初始状态下的网络行为作出评价。 y1（0）=(1 0 0 1)T， y2（0）=(1 0 0 0)T， y3（0）=(0 0 0 1)T。 */102 步骤1：权值设计 根据 得 */102 步骤2：稳定性分析 对于y1(0)有： [1,0,0,1]T→ [0,0,0,0]T → [0,0,0,0]T, 因此 y1=[0,0,0,0]T,是一个稳定态。 对于y2(0)有： [1,0,0,0]T→ [0,0,1,0]T → [1,0,0,0]T, 所以初始状态2不属于此Hopfield网络记忆范围。无法实现联想。 对于y3(0)有： [0,0,0,1]T→ [0,1,0,0]T → [0,0,0,1]T, 也不属于此Hopfield区的记忆范围。 */102 3. 应用：联想记忆功能 必须具备两个基本条件： 能够收敛于稳定状态，利用此稳态来记忆样本信息； 具有回忆能力，能