第6章节 反馈神经网络.pptVIP

第六章 反馈神经网络 6.1离散型Hopfield神经网络 有n个神经元，每个神经元输出均通过连接权wij反馈至所有神经元xj作为输入。即每个神经元都接受所有神经元输出反馈回来的信息，使得各神经元相互制约。每个神经元都有一个阈值Tj，对噪声加以控制。因此DHNN网可以简记为N=（W，T）。 6.1.2 网络的稳定性与吸引子 二、 吸引子与能量函数 三、 吸引子的性质 四、 吸引子的吸引域 解：分两步进行 （1）检验吸引子： 由定义 （2）考察联想记忆： 设有样本X1=（-1，1，1，1)T， X2=（1，-1，-1，-1)T， X3=（1，1，-1，-1)T，考察网络以异步方式工作时两个吸引子对三个样本的吸引能力。 可以看出，在网络的异步调整次序一定时，稳定于哪个吸引子与其初态有关；当初态一定时，网络稳定于哪个吸引子与其异步调整次序有关。 6.1.3 网络的权值设计 设要求的吸引子为Xa=(010)T， Xb=(111)T，权值和阈值在[-1,1]区间内取值，试求权值和阈值。 解：考虑到wji=wji，对于状态Xa=(010)T，各点净输入应该满足： net1=w12*1+w13*0-T1=w12-T1＜0 (1) net2=w12*0+w23*0-T2= -T2＞0 (2) net3=w13*0+w23*1-T3=w23-T3＜0 (3) 对于状态Xb=(111)T，各点净输入应该满足： 由式（5）有-0.7＜w23 ≤1，取w23 =0.1； 由式（6）有-1≤ T3＜0.5 ，取T3 =0.4。 可以验证，这一组参数构成的DHNN网对于任何初始态都将演变到两个给定的吸引子之一。 6.1.4 网络的信息存储容量 网络所能存储的最大模式数Pmax称为网络容量。与网络规模、算法、记忆模式向量分布有关。 定理6.3 若DHNN网络的规模为n，且权矩阵主对角线元素为0，则该网络的信息容量上界为n。 定理6.4 若P个记忆模式XP,p=1,2,…,P, x∈{-1,1}n两两相交，nP,且权值矩阵W按式6.17得到，则所有P个记忆模式都是DHNN网(W,0)的吸引子。 定理6.5 若P个记忆模式XP,p=1,2,…,P, x∈{-1,1}n两两相交，n≥P,且权值矩阵W按式6.16得到，则所有P个记忆模式都是DHNN网(W,0)的吸引子。 事实上，在n一定时，记忆的模式越多，联想出错的可能性越大。 研究表明，存储模式P超过0.15n时，联系时就有可能出错。错误结果是能量的某个局部极小点，称作伪吸引子。 提高存储容量的2个途径：一为改进拓扑结构；二为改进权值设计方法，如反复学习发、纠错学习法等 ----完---- 为了使所设计的权值满足要求，权值矩阵应符合以下要求： ⑴为保证异步方式工作时网络收敛，W 应为对称阵； ⑵为保证同步方式工作时网络收敛，W 应为非负定对称阵； ⑶保证给定样本是网络的吸引子，并且要有一定的吸引域。 一、联立方程法 考虑wij=wji，建立联立方程组，逐个求解。以6.1例子的DHNN网说明。 对于状态Xb=(111)T，各点净输入应该满足： net1=w12*1+w13*1-T1 ＞0 (4) net2=w12*1+w23*1-T2＞0 (5) net3=w13*1+w23*1-T3 ＞0 (6) 联合（1）-（6）方程，可以求出6个未知量的范围，如取w12=0.5，从（1）式有 0.5＜ T1 ≤1，可以取T1 =0.7； 由式（4）有0.2＜w13 ≤1，取w13 =0.4； 由式（2）有-1≤ T2＜0 ，取T2 =-0.2； 二、外积和法 设给定P个模式样本Xp，p=1,2,…,P，x?{-1,1}n，并设样本两两正交，且nP，则权值矩阵为记忆样本的外积和 (6.16) 若取wjj=0，上式应写为 (6.17) 式中I为单位矩阵。上式写成分量元素形式，有 (6.18) 下面检验所给样本能否称为吸引子。 因为P个样本Xp，p=1,2,…,P，x?{-1,1}n 是两两正交的，有 因为n P，所以有 可见给定样本 Xp，p=1,2,…,P 是吸引子。 北京工商大学信息工程学院韩力群制作 * 北京工商大学信息工程学院 6.1 离散型Hopfield神经网络 6.2 连续型Hopfield神经网络(不讲) 6.3 Hopfield网络应用与设计实例(不讲) 6.4 双向联想记忆神经网络(不讲) 6.5 随机神经网络(不讲) 6.6 递归神经网络(不讲) 根据神经网络运行过程中的信息流向，可分为前